- 博客(6)
- 收藏
- 关注
原创 大数据生态和Spark简介
Spark简介:Spark最初由美国加州大学伯克利分校(UC Berkeley)的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。2013年Spark加入Apache孵化器项Spark的主要特点: 运行速度快:使用DAG执行引擎以支持循环数据流与内存计算容易使用:支持使用Scala、Java、Python和R语言进行编程,可以通过Spark Shell进行交互式编程通用性:Spark提供了完整而强大的技术栈,包括SQL查询、流
2021-03-02 19:12:26
157
原创 python记录<5>
面相对象1.面向对象:一种编程思想,是针对于大型程序,复杂逻辑开发时使用的编程思想2.抽象:把看着像的东西,统称为一类3.封装:将属性(变量)和方法(函数)定义到类中,可以隐藏部分或全部数据。4.继承:让子类继承父类的所有公有的属性和方法。5.多态:让同一个方法在不同类中实现不同的功能6.类:用于创建对象的模版。(属性(数据)和方法)。用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。7.对象:类型(创造对象的类名),value,id,一切皆
2020-11-29 22:46:24
67
原创 python记录<4>
文件: 文本文件 xx.txt xx.log xx.ini 本质是字符串,存在磁盘的字符串(持久化)二进制文件 xx.mp3 xx.jpg xx.aviopen()函数用于操作文件 参数: file:文件 绝对路径和相对路径 windowsE:\\python\\test\\a.txt li...
2020-11-24 23:50:04
76
原创 python记录<3>
文件读写文件:被持久化存储在磁盘上的字符串。读操作:将文件中的字符串加载进行内存。写操作:将字符串写入到磁盘中的操作。open函数:用于写文件。print(help(open))参数:file:文件名注意路径:绝对路径 相对路径 next\encoding:指定open函数在读写文件时使用的字符集 windows 默认字符集是 gbk notepad++ ...
2020-11-18 21:43:14
119
原创 python记录<2>
生成器函数生成器函数使用yield返回返回值。函数并没有结束,还可以继续执行。生成器一次返回一个(组)数据。def func1(): yield"h" yield"e" yield"l" yield"l" yield"o"gen =func1() 生成器对象循环生成器对象时,一次获取一个值。for i in gen: print(i)将生成器对象强制类.
2020-11-10 21:02:04
82
原创 python记录<1>
函数是什么?定义:函数对程序逻辑进行结构化或过程化的一种编程方式,写函数的目的是为了代码的重用。1.自定义函数:自定义函数通过def关键字定义。def函数名(参数): 语句块(函数体)2.形参和实参<1>形参:定义函数时,在函数名后面括号内的参数叫形参。<2>实参:调用函数时可以通过参数给函数传值,通过参数赋值的过程叫传参。而调用函数时这个参数就叫实参。...
2020-11-03 19:33:43
178
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人