- 博客(6)
- 收藏
- 关注
RSS订阅原创 2021-02-28
.Spark生态系统（一）应用场景1.复杂的批量数据处理 （小时级）2.基于历史数据的交互式查询 （分钟级、秒级）3.基于实时数据流的数据处理 （毫级、秒级 ）4.基于历史数据的数据挖掘5.图结构数据的处理（二）生态系统中的组件Spark Core : 主要面向批数据处理。比如内存计算、任务调度、部署模式、故障恢复等Spark SQL : 用于结构化数据处理的组件。Spark Streaming : 是一种流计算框架，可以支持高吞吐量、可容错处理的实错的流处理引擎。Structured
2021-02-28 14:22:23
66
原创 python第五篇笔记
pythonif语句if判断语句if 判断语句的基本语法 if 要判断的条件: 条件成立时,要做的事情> 注意:代码的缩进为一个 tab 键,或者四个空格(pycharm 自动帮我们增加) 在 python 开发中,Tab 和空格不要混用if的语法格式：if_stmt ::= "if" expression ":" suite ( "elif" expression ":" suite )* ["else" ":" suite]It
2020-12-06 21:43:49
42
原创 python第四篇笔记
python list函数创建一个list列表: liebiao = list([“参数1”,“参数2”])liebiao = [“参数1”,“参数2”]快速创建一个1~9的列表: liebiao = [i for i in range(1,10)]python列表常用函数： len(list):列表元素个数 max(list):返回列表中元素的最大值 min(list):返回列表元素的最小值 list(seq):将元组转换成列表列表操作方法:list.app
2020-12-06 21:35:16
27
原创 python第三篇笔记
Python字符串匹配1. re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。import re line="this hdr-biz 123 model server 456"pattern=r"123"matchObj = re.match( pattern, line)2. re.search 扫描整个字符串并返回第一个成功的匹配。import re line="this hdr-biz model server
2020-12-06 21:32:00
35
原创 python第二篇笔记
Python函数中定义函数在函数内部定义的函数要在函数内部调用def paint(): print("paint") def paintA(): print("paintA") paintA()paint()//输出如下：//paint//paintA在函数外部调用函数的结果如下paintA //试图在函数外部调用paintA()//以下是报错信息-----------------------------------------------
2020-12-06 21:18:59
31
原创 python第一篇笔记
函数一：基本概念函数是什么：一个被封装好的具有特定功能的代码段，可以被重复使用。函数名：给封装好的代码段（函数），起个名字。形参：本质上就是一个局部变量，由于接收函数外部的数据，它是定义函数时候定义的。实参：在函数调用执行时，传递的数据。返回值。返回值：将函数中的局部变量传递到函数外部。关键字：return.定义一个函数：①普通函数。②匿名函数（没有函数名的函数）。全局变量：在整个函数中部都可以被调用的变量，一般都是直接定义在函数外部的，或者用 global定义的。（关键字都是在函数内部定义的）局部变量：
2020-11-03 21:44:13
39
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人