- 博客(6)
- 收藏
- 关注
RSS订阅原创 spark和大数据生态
Spark简介诞生与发展诞生于加州大学伯克利分校AMP实验室，是一个基于内存的分布式计算框架发展历程：2009年诞生于加州大学伯克利分校AMP实验室2010年正式开源2013年6月正式成为Apache孵化项目2014年2月成为Apache顶级项目2014年5月正式发布Spark 1.0版本2014年10月Spark打破MapReduce保持的排序记录2015年发布了1.3 1.4 1.5版本2016年发布了1.6 2.x版本为什么使用SparkMapReduce编程模型的局限性繁
2021-03-03 16:49:44
59
1
原创 5异常类
异常名称 描述BaseException 所有异常的基类SystemExit 解释器请求退出KeyboardInterrupt 用户中断执行(通常是输入^C)Exception 常规错误的基类StopIteration 迭代器没有更多的值GeneratorExit 生成器(generator)发生异常来通知退出StandardError 所有的内建标准异常的基类ArithmeticError 所有数值计算错误的基类FloatingPointError 浮点计算错误OverflowErro
2020-12-08 13:25:29
76
原创 4字典
字典对象是按如下构造的：1、如果没有提供位置参数，则构造空字典对象。2、如果提供的位置参数是映射类型的，则创建包含与该参数所包含的键值对的相同的字典。3、如果提供的位置参数是可迭代类型的，则构包含该参数中每个元素的第一个对象为键第二个对象为值的键值对的字典，如果键重复出现则最后出现的值为此键的值。这种情况下要求该参数中的元素本身必须是包含两个对象的可迭代类型的对象，并且元素的第一个对象必须是可哈希的。如果不满足此要求会报TypeError。4、如果提供了关键字参数，则关键字参数表示的键值对加入到新创
2020-12-01 15:10:05
97
原创 3内置模块
os模块*os.getcwd() *获取当前工作目录，即当前python脚本工作的目录路径*os.chdir(“dirname”) *改变当前脚本工作目录；相当于shell下cd*os.curdir *返回当前目录: (’.’)*os.pardir *获取当前目录的父目录字符串名：(’…’)*os.makedirs(‘dirname1/dirname2’) *可生成多层递归目录os.removedirs(‘dirname1’)若目录为空，则删除，并递归到上一级目录，如若也为空，则
2020-11-20 14:17:41
159
1
原创 2文件的基本操作
一、创建和打开文件1.通过open()实现file =poen(文件名[参数[,可选参数①]])file为文件对象参数：r :以只读模式打开文件，文件指针在文件开头rb :以二进制打开，且只读用于打开非文本文件r+ :打开文件后可读也可写人新文件覆盖原有内容（从头开始）rb+ :以二进制打开，并采用读写模式用于打开非文本文件（必须有文件才可使用以上参数）w :只写模式打开wb :以二进制模式打开，且采用只写模式，用于打开非文本文件w+ :打开文件后清空其内容并对该文件有
2020-11-09 15:51:50
418
原创 函数和高阶函数
函数1.描述以def 开头, 缩进的代码块为函数体.函数声明中可以为形参指定默认值, 含默认值的形参,一般放在普通形参的后面.调用时的实参可以指定参数名字.2.例子def f_greet(name,greeting=‘hello’):print(greeting,name+’!’)f_greet(‘cc’)f_greet(name=‘cc’)f_greet(‘du’,‘hi’)1234563.引用传递字符串, 数字, 元组 都是不可变的.实参到形参是引用传递, 所以形参
2020-11-01 17:42:51
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人