- 博客(6)
- 收藏
- 关注
原创 spark简介
spark是一个用于大规模数据处理的统一计算引擎。适用于各种各样原先需要多种不同的分布式平台处理的场景,包括批处理、迭代计算、交互式查询、流处理。通过统一的框架将各种处理流程整合到一起。 spark特性 快速性 spark通过使用先进的DAG调度器、查询优化器和物理执行引擎,可以高性能地进行批量及流式处理。 简单易用 spark支持多种编程语言,比如Java、Scala、Python、R及SQL。 spark提供了超过80多个高级算子操作,可以很便捷地构建并行计算应用。 通用性 spark构建了一个完善的生
2021-03-02 13:54:22
144
原创 第五次
运算符 1.算术运算符 Python中算术运算符有:+(加)、-(减)、*(乘)、/(除)、//(求整商)、%(取模)、**(幂) 2.关系运算符 Python中关系运算符有:<(小于)、<=(小于等于)、>(大于)、>=(大于等于)、==(等于)、!=(不等于) 3.测试运算符 Python中测试运算符有:in ,not in , is , is not 测试运算符根据表达式值的真假返回布尔值 4.逻辑运算符 Python中逻辑运算符有:and(与) , or(或) , not(非
2020-12-07 20:14:28
71
原创 第四次
数据类型、运算符与表达式 数据类型 1.整数类型 int Python提供 int 类型用于表示现实世界中整数信息,分为正整数、0和负整数 例:99 , 0 , -99 2.浮点数类型 float Python提供 float 类型用于表示浮点数,包含小数点的数或科学计数法表示的数 例:15.0 , 0.37 , 3.14e-2 3.复数类型 complex Python中复数由实部和虚部组成,形式为:实部 + 虚部j 例:2 + 3j , 0.5 - 0.9j 4.布尔类型 bool 布尔类型是表示逻辑的
2020-12-07 20:10:26
67
原创 第三次
接着上次的记 三、条件判断 语法: if 要判断的条件: 条件成立时要做的事 else: 条件不成立时要做的事 注意代码的缩进一般为4个空格键。条件判断边界条件(1)值比较:使用>,<,==,!=等(2)逻辑比较:使用and,or,not。判断包含关系用in,not in。 若为多条件,条件不同,需要执行的代码也不同,可以用elif。 input 函数为输入函数,输入的数据默认为字符串格式。因此需要通过int()将字符串转换为整数型,以便于后续对数字进行判断。 四、
2020-11-28 09:43:20
130
原创 第二次
一、变量 变量用来存放数据,语法:变量名= 变量值,一般为了便于阅读,变量名采用数据意义+数据类型来命名。如namestr = ‘马云’,数据类型为字符串。另外文件名不能以数字开头,Python对字母大小写敏感,如果写错了程序会报错。 二、变量类型 根据用途的不同,可将python中的数据类型分为以下五大类: 1.字符串str 字符串是python中常见的数据类型,可使用单引号或者双引号来创建字符串。字符串之间可以用+拼接生成新的字符串,也可以使用*重复拼接相同的字符串。 2. 数字型 数字型分为整数in
2020-11-28 09:39:36
90
原创 Python函数和部分高阶函数
Python函数和高阶函数基础 一、函数的定义 所谓函数,就是把具有独立功能的代码块组织成为一个小模块,在需要的时候调用 函数的使用包含两个步骤 1.定义函数–封装独立的功能 2.调用函数–享受封装的成果 函数的作用: 在开发时,使用函数可以提高编写的效率以及代码的重用。 参数的作用 函数,把具有独立功能的代码块组织成为一个小模块,在需要的时候调用 函数的参数,增加函数的通用性,针对相同的数据处理逻辑,能够适应更多的数据 1.在函数内部,把参数当作变量使用,进行需要的数据处理 2.函数调用时,按照函数定义的
2020-11-02 19:52:36
87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人