难言不语-CSDN博客

原创 2021-02-28

Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架 Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以下特点。 1.运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。 2.易用性

2021-02-28 19:09:21 86

原创 Python第五次笔记

文件操作读操作：将磁盘文件中的字符串加载进内存写操作：将内存中的字符串存储到磁盘中 open（file，mode=“r”，encoding="utf-8）执行open函数后返回文件对象。 mode="r"时，可以使用read方法。mode=“w"时，可以使用write方法。 file参数：指文件名。当要读写的文件和python程序在同一目录时，写文件名即可。 w模式：只写模式，当文件不存在时，他会创建文件并写入数据。文件存在时，会覆盖文件 f=open(“hello.txt”,mode=“w”,enc

2020-11-30 23:17:44 63

原创 Python第四次笔记

一、生成器函数当我们处理大量数据时，一个个获取数据，以节省时间。 def func（）： yield“a” yield“b” yield“c” 执行生成器函数时，返回生成器对象只有使用next（）函数执行生成器对象或循环生成器对象时，才会一个一个返回数据。 g ＝ func（） for i in g： print（i）使用生成器函数实现斐波那契数列 def fbnq（n）： a，b＝0，1 while a < n： yield a a，b＝b，a＋b for i in fbnq（1000）： p

2020-11-23 22:35:55 79

原创 Python第三次笔记

一、Python随机数模块，random import random print（random.random（））输出0～1随机小数 print（random.randint（a，b））输出a～b随机整数 print（random.randint（0，10，2））输出0～10的复数，带步长随机整数 print（dir（random））随机列表中的元素二、time时间模块时间三种表达形式 1时间戳（小数）1970－01－01（格林威治天文台时间）秒数方便计算机存储和运算 print（time.t

2020-11-16 15:22:05 82

原创 2020-11-08

1Python模块：py文件，所以的Python脚本都可以当做模块被调用。 2包：存放有相互关联的Python模块文件夹_Init_.py。 3pyc：经过Python编译后的py模块文件，执行速度更快。 import pl print（pl.a＋pl.b） pl.hello（）第二种导入方法：包/模块/包.模块/ import 模块/函数/变量 as 别名 from pl import a，b from pl import hello as h print（a，b，a＋b） h（） *从包中引用所有模

2020-11-08 20:57:59 176

原创 python笔记

一、python的定义：Python 是一个高级动态、解释性、编译性、互动性和面向对象的脚本语言。二、python的特点： 1、简单灵活 2、开源免费 3、跨平台 4、高级动态 5、支持命令式编程 6、函数式编程 7、面向对象编程三、Python有五个标准的数据类型 Numbers（数字） String（字符串） List（列表） Tuple（元组） Dictionary（字典）万丈高楼平地起，这五个标准的数据类型讲贯穿于整个Python Python支持四种不同的数字类型： int（有

2020-11-01 20:07:09 138 1

qq_52107243的博客