数据结构
qq_42533216
这个作者很懒,什么都没留下…
展开
-
Spark数据分析之pyspark
Spark数据分析之pyspark一、大数据简史,从hadoop到Spark1.hadoop的出现:(1)问题:1990年,电商爆发以及机器产生了大量数据,单一的系统无法承担(2)办法:为了解决(1)的问题许多公司,尤其是大公司领导了普通硬件集群的水平扩展(3)执行:hadoop应运而生2.spark的出现:(1)hadoop面临问题: - 硬件瓶颈:多年来,内存技术突飞猛进,而硬盘技术没有太大的变化。hadoop主要运用的是硬盘,没有利用好内存技术。 - 编转载 2021-07-12 10:02:42 · 672 阅读 · 0 评论 -
python sort函数内部实现原理
目录引言 sort 与 sorted 内部实现原理的回答 Timsort 1 操作 2 性能 1 操作 1.1 run的最小长度 1.2 优化run的长度 1.3 合并run 1.4 合并run步骤 1.5 Galloping 模型 2 性能 说明: 博客搬运地点正文回到顶部引言 前不久在这篇文章sort与sorted的区别中收到了这样的一个提问:“python的 sort 内部实现机制是什么?时间复杂度是多...转载 2020-11-05 20:33:24 · 3635 阅读 · 0 评论 -
python中的变量在内存中的保存形式
前戏部分# python中定义一个变量,如:`name = 'the3times'`,在计算机底层会发生这样一件事:操作系统调用硬件,在内存中开辟一块空间,将值'the3times'存放在这块内存空间中;然后将变量名name与这块内存空间的地址绑定关联在一起;程序通过变量名name的调用来唯一访问值'the3times'。# 这样的话,如果程序中有许多变量需要定义就会在内存中开辟大量的内存空间;# 另外,我们知道内存是有限的,变量数量如果太多就会造成内存不足甚至内存溢出的风险。# 从这个角度出原创 2020-11-05 13:58:49 · 1405 阅读 · 0 评论