- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据生态与spark简介
大数据生态与spark简介上图自下而上描绘了数据在整个Hadoop生态圈的流转过程；Spark相对于hadoop的优势：（1）高性能Spark具有hadoop MR所有的优点，hadoop MR每次计算的中间结果都会存储到HDFS的磁盘上，而Spark的中间结果可以保存在内存，在内存中进行数据处理。（2）高容错基于“血统”(Lineage)的数据恢复：spark引入了弹性分布式数据集RDD的抽象，它是分布在一组节点中的只读的数据的集合，这些集合是弹性的且是相互依赖的，如果数据集中的一部分
2021-02-27 15:34:15
269
原创 Python5
Python 命名空间和作用域命名空间命名空间(Namespace)是从名称到对象的映射，大部分的命名空间都是通过 Python 字典来实现的。命名空间提供了在项目中避免名字冲突的一种方法。各个命名空间是独立的，没有任何关系的，所以一个命名空间中不能有重名，但不同的命名空间是可以重名而没有任何影响。内置名称（built-in names）， Python 语言内置的名称，比如函数名 abs、char 和异常名称 BaseException、Exception 等等。全局名称（global name
2020-12-04 09:31:09
153
原创 Python4
Python 面向对象类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。方法：类中定义的函数。类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。数据成员：类变量或者实例变量用于处理类及其实例对象的相关的数据。方法重写：如果从父类继承的方法不能满足子类的需求，可以对其进行改写，这个过程叫方法的覆盖（override），也称为方法的重写。局部变量：定义在方法中的变量，只作用
2020-12-01 12:32:29
242
原创 Python3
Python数据结构列表Python中列表是可变的，这是它区别于字符串和元组的最重要的特点，一句话概括即：列表可以修改，而字符串和元组不能。以下是 Python 中列表的方法：1.list.append(x) 把一个元素添加到列表的结尾，相当于 a[len(a):] = [x]。2.list.extend(L) 通过添加指定列表的所有元素来扩充列表，相当于 a[len(a):] = L。3.list.insert(i, x) 在指定位置插入一个元素。第一个参数是准备插入到其前面的那个元素的索引
2020-11-16 17:36:02
206
原创 Python2
Python 条件控制if 语句Python中if语句的一般形式如下所示：if condition_1:statement_block_1elif condition_2:statement_block_2else:statement_block_3如果 “condition_1” 为 True 将执行 “statement_block_1” 块语句如果 “condition_1” 为False，将判断 “condition_2”如果"condition_2" 为 True 将执行 “
2020-11-09 12:27:30
261
1
原创 Python1
python基础语法1.标识符第一个字符必须是字母表中字母或下划线 _ 。标识符的其他的部分由字母、数字和下划线组成。标识符对大小写敏感。在 Python 3 中，可以用中文作为变量名，非 ASCII 标识符也是允许的了。2.python保留字保留字即关键字，我们不能把它们用作任何标识符名称。Python 的标准库提供了一个 keyword 模块，可以输出当前版本的所有关键字：import keywordkeyword.kwlist[‘False’, ‘None’, ‘True’,
2020-11-03 18:21:10
201
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人