- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据生态与Spark简介
一，Spark简介三次信息化浪潮大数据概念数据量大在思维方面，大数据完全颠覆了传统的思维方式:.全样而非抽样.效率而非精确.相关而非因果大数据技术不同层面及其功能大数据计算模式及其代表产品Spark具有如下特点•运行速度快：使用DAG执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组
2021-02-28 12:49:27
94
原创 Python第五篇
一.异常异常即是一个在程序执行过程中发生，影响了程序的正常执行的事件。一般情况下，在Python无法正常处理程序时就会发生一个异常。BUG 臭虫.错误. debug 调试；当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。即便 Python 程序的语法是正确的，在运行它的时候，也有可能发生错误。运行期检测到的错误被称为异常。python提供了两个非常重要的功能来处理异常处理 :让程序不报错.(不终止运行,可以提示错误,记录进错误日志)断言(Assertions) : 在需要
2020-12-08 11:47:54
74
原创 2020-11-25
一.pickle模块这个模块实现了用于Python对象进行序列化和反序列化的二进制协议，该模块的序列化和反序列化过程叫做Pickling还有unpickling1.picking： 当Python对象转化为字节流的过程2.unpickling： 将字节流对象字节流二进制文件转化为Python对象的过程。2.引入库1.pickle.dumps(object):接收一个对象为参数，并返回对象的参数表达形式。2.pickle.dump(object,f):用来将对象opject写入二进制文件f中，第一
2020-11-25 09:42:19
76
1
原创 python笔记三
1.__name__属性一个模块被另一个程序第一次引入时，程序将被运行。用__name__属性来使该程序块仅在该模块自身运行时执行name Python解释器定义好的内置变量直接运行当前模块时，它的值是“main”，当模块被引用执行时，它的值是“模块文件的名字”或“包.模块名”当模块被引用执行时，不执行if name==“main”:print(“被引用时不执行！”)dirprint(dir(sys)) #显示模块中所有的函数名和变量名print(help(sys)) #查看模块的帮助文档
2020-11-19 11:04:15
148
1
原创 python第二篇2020/11/11
1.生成器函数使用yield返回返回值，函数并没有结束，还可以继续执行生成器一次返回一个（组）数据def tools(func):def inter(*args,**kwargs):print(“开始执行…”)res = func(*args,**kwargs)print(“结束执行…”)return resreturn inter#生成器对象12345678123456781）生成器对象循环生成器对象时，一次获取一个值for i in gen:print(i)将生成器对象强制类型转
2020-11-11 09:14:49
99
原创 2020-11-04
python特点1、简单灵活2、 开源免费3、 跨平台4、 高级动态5、 支持命令式编程6、函数式编程7、 面向对象编程1.装饰器函数定义：在不修改其他函数代码的前提下，给在这里插入代码片其他函数增加或修改的一个函数2.将原函数作为装饰器函数的参数。3.在装饰器函数内部定义内部函数，在内部函数中执行原函数4.将新增的功能添加到内部函数中5.将内部函数返回6.将返回的内部函数替代原函数基本数据类型标准数据类型：数字（Number）、字符串（String）、列表（List）、元组（
2020-11-04 09:27:15
68
原创 2020-11-04
Python笔记 11.3python特点1、简单灵活2、 开源免费3、 跨平台4、 高级动态5、 支持命令式编程6、函数式编程7、 面向对象编程1.装饰器函数定义：在不修改其他函数代码的前提下，给在这里插入代码片其他函数增加或修改的一个函数2.将原函数作为装饰器函数的参数。3.在装饰器函数内部定义内部函数，在内部函数中执行原函数4.将新增的功能添加到内部函数中5.将内部函数返回6.将返回的内部函数替代原函数基本数据类型标准数据类型：数字（Number）、字符串（String
2020-11-04 09:11:12
78
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人