- 博客(6)
- 收藏
- 关注
原创 2021-02-28
Spark生态组件介绍 Spark Core:提供了多种资源调度管理,通过内存计算、有向无环图(DAG)等机制保证分布式计算的快速,并引入了RDD的抽象保证数据的高容错性。尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的 Spark SQL:提供通过Apache Hive的SQL变体Hive查询语言(HiveQL)与Spark进行交互的API。每个数据库表被当做一个RDD,Spark SQL查询被转换为Spark操作。引入了新的SchemaRD
2021-02-28 13:21:12
109
原创 2020-12-08
re.match 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。 import re line=“this hdr-biz 123 model server 456” pattern=r"123" matchObj = re.match( pattern, line) re.search 扫描整个字符串并返回第一个成功的匹配。 import re line=“this hdr-biz model server” pattern=r"hdr-b...
2020-12-08 08:28:51
67
原创 2020-12-06
Python 模块 Python 模块(Module),是一个 Python 文件,以 .py 结尾,包含了 Python 对象定义和Python语句。 模块让你能够有逻辑地组织你的 Python 代码段。 把相关的代码分配到一个模块里能让你的代码更好用,更易懂。 模块能定义函数,类和变量,模块里也能包含可执行的代码。 例子 support.py 模块: def print_func( par ): print "Hello : ", par return import 语句 模块的引入 模块定义好后,我们
2020-12-06 12:12:39
50
原创 2020-11-22
字典 字典={‘存储变量1’:’’,存储变量2:’’} print(字典[‘存储变量’] 添加键_值对:字典[‘存储变量3’]=? 注意:python 不关心键_值对的添加顺序,只关心键和值之间的关系 可以创建空字典,然后逐一添加 修改值方法=添加值覆盖原有值 删除键_对:del 字典[‘元素’] 由类似对象组成的字典(众多对象) 字典={ 语句一 语句二 语句三 } 较长print语句分行 print(第一句+ 第二句 第三句) 遍历字典(for循环) 1.所有键_对: for new_1,new_2 i
2020-11-22 16:50:12
71
原创 2020-11-11
Python笔记 python算术运算符 +加 - 两个对象相加a + b 输出结果 30 -减 - 得到负数或是一个数减去另一个数a - b 输出结果 -10 *乘 - 两个数相乘或是返回一个被重复若干次的字符串a * b 输出结果 200 /除 - x除以yb / a 输出结果 2 %取模 - 返回除法的余数b % a 输出结果 0 幂 - 返回x的y次幂ab 为10的20次方, 输出结果 100000000000000000000 //取整除 - 返回商的整数部分9//2 输出结果 4 , 9.0//
2020-11-11 08:31:53
99
原创 2020-11-04
函数的定义 函数代码块以 def 关键词开头,后接函数标识符名称和圆括号()2、return [表达式] 结束函数,选择性地返回一个值给调用方。不带表达式的 return 相当于返回 None。 匿名函数 python 使用 lambda 来创建匿名函数。 lambda只是一个表达式,函数体比def简单很多。 lambda的主体是一个表达式,而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。 lambda函数拥有自己的命名空间,且不能访问自有参数列表之外或全局命名空间里的参数。 虽然lamb
2020-11-04 09:55:27
691
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人