- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据生态与Spark简介
大数据简介 大数据概念： 1、数据量大 2、处理速度快： 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 3、结构复杂： 大数据是由结构化和非结构化数据组成的 4、价值密度低： 价值密度低，商业价值高 大数据影响： 在思维方式方面，大数据完全颠覆了传统的思维方式： 1、全样而非抽样 2、效率而非精确 3、相关而非因果 大数据技术： 1、数据采集： 利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为
2021-02-26 17:13:50
217
原创 Python笔记-5
这份笔记关于字符串 什么是字符串? 字符串： 字符串或串(String)是由数字、字母、下划线组成的一串字符，它是编程语言中表示文本的数据类型 定义方式： 1、a = “hello” 2、a =‘hello’ 3、a = “”“hello”"" 4、a = str() 字符串是不可变的 字符串中的字符都是有序的，拥有自己索引(index,也叫下标)从0开始，索引也可以为负值,负数索引表示从右往左开始计数，最后一个元素索引为-1,倒数第二为-2,以此类推 如： 切片： Python 访问子字符串，可以使用方
2020-11-25 17:07:32
83
原创 Python笔记-4
这份笔记关于高阶函数 什么是高阶函数？ **高阶函数：**函数可以作为参数被传递或可以作为返回值输出 下例为一个简单的高阶函数： abs()函数表示返回数字的绝对值 round()函数用于数字的四舍五入 Python里常用的有五个高阶函数： 1、map()函数 map()函数接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回 例： 2、reduce()函数 reduce把一个函数作用在一个序列[x1, x2, x3…]上，这个函数必须接收两个
2020-11-22 16:34:12
82
原创 Python笔记-3
这份笔记来说说什么是模块 什么是模块？ **模块：**就是一个包含事先定义好的函数和变量的.py文件，所有的python脚本都可以作为python模块被调用 模块可以被别的程序引入，以使用该模块中的函数等功能 **包：**简单来说，包就是文件夹，但该文件夹下必须存在 _ init _.py 文件 **.pyc文件：**经过python编译后的文件，用于加快模块的执行速度 如何使用模块？ 想使用 Python 源文件，只需在另一个源文件里执行 import 语句，语法如下： 无论执行多少次import，一个
2020-11-14 21:03:24
125
原创 Python笔记-2
Python笔记-2 这份笔记关于字典与集合 字典（dict,全称： dictionary） 字典（散列表）是一种通过“键”来引用“值”的数据结构 字典中的值没有特殊的顺序, 但都是存储在一个特定的键(key)下.{“key”:None,“1”:“a”} 键可以是数字, 字符串, 也可以是元组,但只能是不可变数据类型 语法格式为：变量名 = {key:value} |变量名={键：值} 字典的操作： 字典遍历： 1、keys()方法只取键 2、values()只取值 3、items取(键和值)
2020-11-05 19:48:45
139
1
原创 Python笔记-1
Python笔记 这份笔记关于匿名函数，递归函数与生成器函数 匿名函数：lambda表达式 通常是在需要一个函数，但是又不想命名的时候用，即匿名函数 lambda表达式的语法为：lambda 参数1，参数2，… ,参数n: 返回值 如下图所示： 给x,y,z分别赋值1，2，3，计算x+y+x和x+y+z 递归函数 程序调用自身的编程技巧称为递归（ recursion） 代码例如： 递归函数优缺点： 优点：定义简单，逻辑清楚。 缺点：递归效率不高，因为每一次调用都有相应的数值存放在栈，而栈的空间是有限的
2020-10-30 13:36:33
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人