- 博客(9)
- 收藏
- 关注
RSS订阅原创 Spark
一.Spark生态系统 （一）应用场景 1.复杂的批量数据处理 （小时级） 2.基于历史数据的交互式查询 （分钟级、秒级） 3.基于实时数据流的数据处理 （毫级、秒级 ） 4.基于历史数据的数据挖掘 5.图结构数据的处理 （二）生态系统中的组件 Spark Core : 主要面向批数据处理。比如内存计算、任务调度、部署模式、故障恢复等 Spark SQL : 用于结构化数据处理的组件。 Spark Streaming : 是一种流计算框架，可以支持高吞吐量、可容错处理的实错的流处理引擎。
2021-02-28 12:24:54
330
1
原创 2020-12-07
re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。 import re line=“this hdr-biz 123 model server 456” pattern=r"123" matchObj = re.match( pattern, line) re.search 扫描整个字符串并返回第一个成功的匹配。 import re line=“this hdr-biz model server” pattern=r"hdr-biz" .
2020-12-07 20:11:53
82
原创 2020-12-07
装饰器符号“@”属于语法糖，什么意思呢？就是说，我不按照@装饰器的语法要求来写，而是按照一般python的语法要求来写完全可以。那么用@装饰器的格式来写的目的就是为了书写简单方便 装饰器的作用是什么呢？ 简单的理解就是：装饰原有的函数。什么意思呢？比如有一个函数func(a, b)，它的功能是求a,b的差值，我现在有一个需求，就是想对函数功能再装饰下，求完差值后再取绝对值，但是不能在func函数内部实现，这时候就需要装饰器函数了，比如func = decorate(func)函数，将func函数作为参数传递
2020-12-07 19:44:27
100
原创 2020-12-06
Python 模块 Python 模块(Module)，是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和Python语句。 模块让你能够有逻辑地组织你的 Python 代码段。 把相关的代码分配到一个模块里能让你的代码更好用，更易懂。 模块能定义函数，类和变量，模块里也能包含可执行的代码。 例子 support.py 模块： def print_func( par ): print "Hello : ", par return import 语句 模块的引入 模块定义好后，我们
2020-12-06 12:08:20
63
原创 第五次笔记
一、字典 概念：字典是类似于列表的一种数据结构，不同的是，字典是键值对的无序集合。字典中的每个元素由两部分组成：键（key）和值（value）。 创建字典 定义字典的方式是通过花括号{ }将所有元素括起来，其中的元素用冒号分隔键和值。 创建一个hero对象: hero = {’ id ’ : 1 , ’ name ’ : ’ milo ’ , ’ hp ’ : 100} hero {’ id ’ : 1 , ’ name ’ : ’ milo ’ , ’ hp ’ : 100} type（hero） &l
2020-11-24 20:31:18
62
原创 Python 第三次笔记
import sys sys:对Python解释器做一些设置，或获取一些解释器信息。 sys.path：path属性，模块路径，list类型可以修改 print（sys.path） sys.path.append（“D：\mysql\pymysql”） print（sys.path） dir（）用于查看模块中的所有属性和方法 print（dir（sys）） 显示版本号 print（sys.veision） 获取脚本参数，第一个参数是脚本名本身 print（sys.argv） 终止程序运行 print（“aa
2020-11-17 10:19:00
74
原创 pythom-模块
模块 模块是一个包含所有定义的函数和变量的文件，其后缀名是 .py 。模块可以被别的程序引入，以调用该模块中的函数等功能。这也是使用 python 标准库的方法。 import 语句 想要引用模块，只需要执行import语句就可以了。我们来看个示例。 Filename: printHello.py def hello( name ): print ("Hello : ", name) 新建一个 printHello.py 的文件，写入一个 hello 的函数。这个文件就是一个模块。 Filename: te
2020-11-08 10:36:29
697
原创 python-装饰器
什么是装饰器 装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。 本质上，decorator就是一个返回函数的高阶函数。 例子 定义一个打印日志的装饰器 def log(func): def wrapper(*args, **wk): prin
2020-11-08 10:30:31
56
原创 python笔记
python特点 1、简单灵活2、 开源免费3、 跨平台4、 高级动态5、 支持命令式编程6、函数式编程7、 面向对象编程基本数据类型标准数据类型：数字（Number）、字符串（String）、列表（List）、元组（Tuple）、集合（Set）和字典（Dictionary）；（1）：不可变数据：Number（数字）、String（字符串）、Tuple（元组）；（2）：可变数据：List（列表）、Dictionary（字典）、Set（集合）。 函数的定义 1、函数代码块以 def 关键词开头，后接函数标识符
2020-11-03 22:09:38
85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人