- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据生态与Spark简介
一，Spark简介 三次信息化浪潮 大数据概念 数据量大 在思维方面，大数据完全颠覆了传统的思维方式: .全样而非抽样 .效率而非精确 .相关而非因果 大数据技术不同层面及其功能 大数据计算模式及其代表产品 Spark具有如下特点 •运行速度快：使用DAG执行引擎以支持循环数据流与内存计算 •容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程 •通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组
2021-02-28 12:49:27
119
原创 Python第五篇
一.异常 异常即是一个在程序执行过程中发生，影响了程序的正常执行的事件。 一般情况下，在Python无法正常处理程序时就会发生一个异常。 BUG 臭虫.错误. debug 调试； 当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。 即便 Python 程序的语法是正确的，在运行它的时候，也有可能发生错误。运行期检测到的错误被称为异常。 python提供了两个非常重要的功能来处理 异常处理 :让程序不报错.(不终止运行,可以提示错误,记录进错误日志) 断言(Assertions) : 在需要
2020-12-08 11:47:54
79
原创 2020-11-25
一.pickle模块 这个模块实现了用于Python对象进行序列化和反序列化的二进制协议，该模块的序列化和反序列化过程叫做Pickling还有unpickling 1.picking： 当Python对象转化为字节流的过程 2.unpickling： 将字节流对象字节流二进制文件转化为Python对象的过程。 2.引入库 1.pickle.dumps(object):接收一个对象为参数，并返回对象的参数表达形式。 2.pickle.dump(object,f):用来将对象opject写入二进制文件f中，第一
2020-11-25 09:42:19
97
1
原创 python笔记三
1.__name__属性 一个模块被另一个程序第一次引入时，程序将被运行。用__name__属性来使该程序块仅在该模块自身运行时执行 name Python解释器定义好的内置变量 直接运行当前模块时，它的值是“main”，当模块被引用执行时，它的值是“模块文件的名字”或“包.模块名” 当模块被引用执行时，不执行 if name==“main”: print(“被引用时不执行！”) dir print(dir(sys)) #显示模块中所有的函数名和变量名 print(help(sys)) #查看模块的帮助文档
2020-11-19 11:04:15
175
1
原创 python第二篇2020/11/11
1.生成器函数 使用yield返回返回值，函数并没有结束，还可以继续执行生成器一次返回一个（组）数据 def tools(func): def inter(*args,**kwargs): print(“开始执行…”) res = func(*args,**kwargs) print(“结束执行…”) return res return inter #生成器对象12345678123456781）生成器对象循环生成器对象时，一次获取一个值 for i in gen: print(i) 将生成器对象强制类型转
2020-11-11 09:14:49
106
原创 2020-11-04
python特点 1、简单灵活 2、 开源免费 3、 跨平台 4、 高级动态 5、 支持命令式编程 6、函数式编程 7、 面向对象编程 1.装饰器函数定义：在不修改其他函数代码的前提下，给在这里插入代码片其他函数增加或修改的一个函数 2.将原函数作为装饰器函数的参数。 3.在装饰器函数内部定义内部函数，在内部函数中执行原函数 4.将新增的功能添加到内部函数中 5.将内部函数返回 6.将返回的内部函数替代原函数 基本数据类型 标准数据类型：数字（Number）、字符串（String）、列表（List）、元组（
2020-11-04 09:27:15
75
原创 2020-11-04
Python笔记 11.3 python特点 1、简单灵活 2、 开源免费 3、 跨平台 4、 高级动态 5、 支持命令式编程 6、函数式编程 7、 面向对象编程 1.装饰器函数定义：在不修改其他函数代码的前提下，给在这里插入代码片其他函数增加或修改的一个函数 2.将原函数作为装饰器函数的参数。 3.在装饰器函数内部定义内部函数，在内部函数中执行原函数 4.将新增的功能添加到内部函数中 5.将内部函数返回 6.将返回的内部函数替代原函数 基本数据类型 标准数据类型：数字（Number）、字符串（String
2020-11-04 09:11:12
88
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人