- 博客(6)
- 收藏
- 关注
RSS订阅原创 Spark作业
Spark简介：Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）。Spark在2014年打破了Hadoop保持的基准排序纪录Spark/206个节点/23分钟/100TB数据Hadoop/2000个节点/72分钟
2021-02-28 16:05:21
310
原创 第五次
os模块os.makedirs(‘dirname1/dirname2’) 可生成多层递归目录os.removedirs(‘dirname1’) 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推os.mkdir(‘dirname’) 生成单级目录；相当于shell中mkdir dirnameos.rmdir(‘dirname’) 删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirnameos.listdir(‘dirname
2020-11-28 22:30:43
79
原创 第四次
匿名、递归、生成器、高阶函数函数：函数：对程序逻辑进行结构化或过程化的一种编程方式//一个被封装起来具有特定功能的代码段。可以被反复调用执行。def 函数名([形参]): # 定义函数 “注释” 函数体函数名([实参]) # 执行函数函数的创建：定义一个函数，能够完成打印信息的功能def printInfo():print( ‘------------------------------------’)printInfo() # 执行函数返回值：return 表示把程序流程从被
2020-11-28 22:21:20
80
原创 第三次
Python导入模块，Python import 模块导入模块引用as起别名 ，模块中所有内容用*代替from 模块名 import 成员名 as 别名__name __属性python内置的__name__属性可以用来识别程序是被导入的还是直接执行。if：判断 >>>当某些代码不想被引用时，添加__name__判断。包用于存放模块的文件夹，将有关联的同一类型的模块放在同一类型的同一个文件夹。包中必须包含__init__.py文件。对包做初始化定义默认的设置。pytho
2020-11-21 19:35:31
80
原创 第二次
高阶函数1、定义：①其中一个或多个参数是函数对象。②返回值是函数对象。2、功能：让代码编写异常灵活。3、注意：①表示执行函数，结果是函数的返回值。②定义好的函数名，函数对象。③将函数作为高阶函数时，不能加“（）”。4、装饰器函数：返回值是高阶函数的函数。函数的柯里化。Python 模块模块Python中的模块是一个 .py 文件内部可以包含定义好的函数、变量、类、数据、执行的功能可以用作内置模块，自定义模块，第三方模块（使用原因）调用模块可以简化开发，减少代码量（怎么使用）使用
2020-11-21 19:27:03
93
原创 Python笔记
什么是PythonPython 是一个高级动态、解释性、编译性、互动性和面向对象的脚本语言。越多被用于独立的、大型项目的开发为什么python能够成为近几年最火的编程语言python优点很多：语言简洁、易学、开发效率高、可移植性强.火起来的主要原因，还是它的应用范围广泛学会Python的话，像：人工智能工程师、数据分析师、爬虫工程师、前后端开发、大数据工程师、运维测试工程师等等岗位都可以自由选择python函数1.定义函数def 函数名():函数封装的代码1.def是英文define的缩
2020-11-04 19:06:22
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人