![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 72
&Lily
这个作者很懒,什么都没留下…
展开
-
大数据生态与spark简介
大数据生态大数据的属性大数据的影响在思维方式方面,大数据完全颠覆了传统的思维方式:全样而非抽样效率而非精确相关而非因果大数据关键技术:分布式存储,分布式处理代表性大数据技术:Hadoop,spark,flink,beamsparkspark的主要特点:运行速度快:使用DAG执行引擎以支持循环数据流与内存计算容易使用:支持使用Scala、Java、Python和R语言进行编程,可以通过Spark Shell进行交互式编程通用性:Spark提供了完整而强大的技术栈,包括SQL查询、流原创 2021-02-28 16:04:06 · 166 阅读 · 1 评论 -
python 函数
python 函数函数基础1.函数:一个被封装起来的具有特定功能的代码段,可被重复执行2.自定义函数:自定义函数通过def关键字定义。def关键字后就是函数的标识符也就是函数名,函数提供的输入接口就是函数名后的圆括号,圆括号中是变量名,一个函数的参数数量由函数功能决定。def 函数名([形参]): # 定义函数 '''注释''' 函数体函数名([实参]) # 执行函数3.形参和实参形参:是函数内的局部变量,用于接外部数据。实参:外部数据,用于给形参赋原创 2020-11-26 13:12:52 · 166 阅读 · 0 评论 -
字符串 字典与集合
字符串字符串或串(String)是由数字、字母、下划线组成的一串字符。它是编程语言中表示文本的数据类型。使用单引号 ’ 双引号" 或三引号 来创建字符串。字符串中的字符都是有序的数组、拥有自己索引(index,也叫下标)从0开始,索引也可以为负值,负数索引表示从右往左开始计数,最后一个元素索引为-1,倒数第二为-2,以此类推.注: python程序中的字符串在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。转义字符在需要在字符中使用特殊字原创 2020-11-26 13:12:23 · 467 阅读 · 0 评论 -
模块和包
模块1.python模块是一个python文件,以.py结尾,模块中可以包含定义好的函数,变量,类,数据等内容2.模块使用import m1m1.hello()print(m1.a+m1.b)3.在模块被调用执行后会自动被python解释器编译成二进制文件,用于对模块加速执行4._pycache_目录下创建模块名。cpython—版本.pyc导入模块from 模块名 import 函数名(也可以是变量名或类名)from 模块名 import 函数名 as 别名from 模块名 imp原创 2020-11-26 13:12:15 · 152 阅读 · 0 评论 -
文件操作 随机数和时间模块
文件1.文本文件:xx.txt,xx.log,xx.ini,本质是字符串,存在磁盘上的字符串(持久化)2.二进制文件:xx.mp3,xx.jpg,xx.avi3.参数:file:文件 绝对路径和相对路径mode:r (只读) w(只写) a(追加模式)b(二进制模式)enconding:字符集GBK(windows)UTF-8(linux)4.open函数执行后返回文件对象f = open("big_data_19-4.txt","a")#“w"只写模式,当文件不存在时,会创建文件,当文原创 2020-11-26 13:12:05 · 179 阅读 · 0 评论