- 博客(6)
- 收藏
- 关注
RSS订阅原创 Spark简介
一、Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以下特点。1.运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达10
2021-03-01 21:35:58
299
原创 Python第五次笔记
元组元组属于不可变序列，其元素不可改变，即元组一旦组建，不能改变元素的值。如果确实需要修改，只能再创建一个元组。元组的定义形式与列表相似，区别在于定义元组时所有元素放在一对（）里。1.元组的创建： x=(1)2.读取元素：与列表相同，使用索引可以直接访问元组的元素，方法为：元组名[索引]3.元组切片：x[star,end]4.检索元素：使用元组对象的index（）方法可以获取指定元素首次出现的下标。x.index(key)使用元组对象的count（）方法统计元组中指定元素出现的次数。x.count
2020-11-28 20:46:19
93
原创 Python第四次笔记
__name__的作用每个Python脚本在运行时都有一个“name ”属性。如果脚本作为模块被导入，则其“name” 属性的值被自动设置为模块名；如果脚本独立运行，则其“name”属性值被自动设置为“name”属性。利用“name”属性即可控制Python程序的运行方式。导入模块的方法在Python中用关键字import来引入某个模块：（1）导入模块，使用“import 模块”引入； （2）导入模块中的某个函数，使用“from 模块名 import 函数名”引入；（3）导入模
2020-11-25 20:28:57
135
原创 Python第三次笔记
模块(module)其实就是 py 文件，里面定义了一些函数、类、变量等Python代码以.py文件形式保存。而每个.py文件都可以看作是一个模块。当一个模块调斜体样式用另一个模块时，便需要import语句。from … import …模块提供了类似名字空间的限制，允许Python 从模块中导入指定的符号（变量、函数、类等）到当前模块。导入后，这些符号就可以直接使用，而不需要前缀模块名。语法如下：from modname import name1[, name2[, … nameN]]例如，要导入模
2020-11-21 17:49:24
112
1
原创 Python二次笔记
高阶函数什么是高阶函数？满足以下条件之一的函数就是高阶函数（1.函数可以作为参数被传递2.函数可以做为返回值输出）（1）map(f, list)返回每个元素通过f计算完的value的listmap()函数接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回。（2）reduce(f,list)函数（求list中数的和）reduce把一个函数作用在一个序列[x1, x2, x3…]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一个
2020-11-11 23:13:03
80
原创 Python笔记
1.内置函数（BIF），68个，查看方式：dir(builtins)分类：数值数据类型：int,float,complex,bool,decimal,fractions序列数据类型：字符串（string）、列表（list）、元祖（tuple）、bytes、bytearray集合数据类型：set、frozenset字典数据类型：dict不可变的数据类型：数值Number、字符串String、元祖Tuple可变的数据类型：列表List、字典Dict、集合Set.2.函数（1）形参与实参：定义函数时的参数是
2020-11-01 23:09:06
90
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人