- 博客(6)
- 收藏
- 关注
原创 2021-02-28
Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发的通用内存并行计算框架 Spark使用Scala语言进行实现,它是一种面向对象、函数式编程语言,能够像操作本地集合对象一样轻松地操作分布式数据集,具有以下特点。 1.运行速度快:Spark拥有DAG执行引擎,支持在内存中对数据进行迭代计算。官方提供的数据表明,如果数据由磁盘读取,速度是Hadoop MapReduce的10倍以上,如果数据从内存中读取,速度可以高达100多倍。 2.易用性
2021-02-28 19:09:21
86
原创 Python第五次笔记
文件操作 读操作:将磁盘文件中的字符串加载进内存 写操作:将内存中的字符串存储到磁盘中 open(file,mode=“r”,encoding="utf-8) 执行open函数后返回文件对象。 mode="r"时,可以使用read方法。mode=“w"时,可以使用write方法。 file参数:指文件名。当要读写的文件和python程序在同一目录时,写文件名即可。 w模式:只写模式,当文件不存在时,他会创建文件并写入数据。文件存在时,会覆盖文件 f=open(“hello.txt”,mode=“w”,enc
2020-11-30 23:17:44
63
原创 Python第四次笔记
一、生成器函数 当我们处理大量数据时,一个个获取数据,以节省时间。 def func(): yield“a” yield“b” yield“c” 执行生成器函数时,返回生成器对象 只有使用next()函数执行生成器对象或循环生成器对象时,才会一个一个返回数据。 g = func() for i in g: print(i) 使用生成器函数实现斐波那契数列 def fbnq(n): a,b=0,1 while a < n: yield a a,b=b,a+b for i in fbnq(1000): p
2020-11-23 22:35:55
79
原创 Python第三次笔记
一、Python随机数模块,random import random print(random.random()) 输出0~1随机小数 print(random.randint(a,b)) 输出a~b随机整数 print(random.randint(0,10,2)) 输出0~10的复数,带步长随机整数 print(dir(random)) 随机列表中的元素 二、time时间模块 时间三种表达形式 1时间戳(小数)1970-01-01(格林威治天文台时间)秒数 方便计算机存储和运算 print(time.t
2020-11-16 15:22:05
82
原创 2020-11-08
1Python模块:py文件,所以的Python脚本都可以当做模块被调用。 2包:存放有相互关联的Python模块文件夹_Init_.py。 3pyc:经过Python编译后的py模块文件,执行速度更快。 import pl print(pl.a+pl.b) pl.hello() 第二种导入方法: 包/模块/包.模块/ import 模块/函数/变量 as 别名 from pl import a,b from pl import hello as h print(a,b,a+b) h() *从包中引用所有模
2020-11-08 20:57:59
176
原创 python笔记
一、python的定义 :Python 是一个高级动态、解释性、编译性、互动性和面向对象的脚本语言。 二 、python的特点: 1、简单灵活 2、 开源免费 3、 跨平台 4、 高级动态 5、 支持命令式编程 6、函数式编程 7、 面向对象编程 三、Python有五个标准的数据类型 Numbers(数字) String(字符串) List(列表) Tuple(元组) Dictionary(字典) 万丈高楼平地起,这五个标准的数据类型讲贯穿于整个Python Python支持四种不同的数字类型: int(有
2020-11-01 20:07:09
138
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人