- 博客(6)
- 收藏
- 关注
RSS订阅原创 2021-02-28
Spark生态组件介绍Spark Core：提供了多种资源调度管理，通过内存计算、有向无环图(DAG)等机制保证分布式计算的快速，并引入了RDD的抽象保证数据的高容错性。尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。引入了新的SchemaRD
2021-02-28 13:21:12
102
原创 2020-12-08
re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。import reline=“this hdr-biz 123 model server 456”pattern=r"123"matchObj = re.match( pattern, line)re.search 扫描整个字符串并返回第一个成功的匹配。import reline=“this hdr-biz model server”pattern=r"hdr-b...
2020-12-08 08:28:51
62
原创 2020-12-06
Python 模块Python 模块(Module)，是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和Python语句。模块让你能够有逻辑地组织你的 Python 代码段。把相关的代码分配到一个模块里能让你的代码更好用，更易懂。模块能定义函数，类和变量，模块里也能包含可执行的代码。例子support.py 模块：def print_func( par ):print "Hello : ", parreturnimport 语句模块的引入模块定义好后，我们
2020-12-06 12:12:39
47
原创 2020-11-22
字典字典={‘存储变量1’:’’,存储变量2:’’}print(字典[‘存储变量’]添加键_值对：字典[‘存储变量3’]=？注意：python 不关心键_值对的添加顺序，只关心键和值之间的关系可以创建空字典，然后逐一添加修改值方法=添加值覆盖原有值删除键_对：del 字典[‘元素’]由类似对象组成的字典（众多对象）字典={语句一语句二语句三}较长print语句分行print(第一句+第二句第三句)遍历字典(for循环)1.所有键_对：for new_1,new_2 i
2020-11-22 16:50:12
67
原创 2020-11-11
Python笔记python算术运算符+加 - 两个对象相加a + b 输出结果 30-减 - 得到负数或是一个数减去另一个数a - b 输出结果 -10*乘 - 两个数相乘或是返回一个被重复若干次的字符串a * b 输出结果 200/除 - x除以yb / a 输出结果 2%取模 - 返回除法的余数b % a 输出结果 0幂 - 返回x的y次幂ab 为10的20次方， 输出结果 100000000000000000000//取整除 - 返回商的整数部分9//2 输出结果 4 , 9.0//
2020-11-11 08:31:53
92
原创 2020-11-04
函数的定义函数代码块以 def 关键词开头，后接函数标识符名称和圆括号()2、return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的 return 相当于返回 None。匿名函数python 使用 lambda 来创建匿名函数。lambda只是一个表达式，函数体比def简单很多。lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。lambda函数拥有自己的命名空间，且不能访问自有参数列表之外或全局命名空间里的参数。虽然lamb
2020-11-04 09:55:27
683
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人