- 博客(6)
- 收藏
- 关注
RSS订阅原创 Spark作业
Spark简介： Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）。 Spark在2014年打破了Hadoop保持的基准排序纪录 Spark/206个节点/23分钟/100TB数据 Hadoop/2000个节点/72分钟
2021-02-28 16:05:21
289
原创 第五次
os模块 os.makedirs(‘dirname1/dirname2’) 可生成多层递归目录 os.removedirs(‘dirname1’) 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推 os.mkdir(‘dirname’) 生成单级目录；相当于shell中mkdir dirname os.rmdir(‘dirname’) 删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname os.listdir(‘dirname
2020-11-28 22:30:43
73
原创 第四次
匿名、递归、生成器、高阶函数 函数： 函数：对程序逻辑进行结构化或过程化的一种编程方式//一个被封装起来具有特定功能的代码段。可以被反复调用执行。 def 函数名([形参]): # 定义函数 “注释” 函数体 函数名([实参]) # 执行函数 函数的创建： 定义一个函数，能够完成打印信息的功能 def printInfo(): print( ‘------------------------------------’) printInfo() # 执行函数 返回值： return 表示把程序流程从被
2020-11-28 22:21:20
69
原创 第三次
Python导入模块，Python import 模块 导入模块 引用as起别名 ，模块中所有内容用*代替 from 模块名 import 成员名 as 别名 __name __属性 python内置的__name__属性可以用来识别程序是被导入的还是直接执行。 if：判断 >>>当某些代码不想被引用时，添加__name__判断。 包 用于存放模块的文件夹，将有关联的同一类型的模块放在同一类型的同一个文件夹。 包中必须包含__init__.py文件。对包做初始化定义默认的设置。 pytho
2020-11-21 19:35:31
69
原创 第二次
高阶函数 1、定义：①其中一个或多个参数是函数对象。 ②返回值是函数对象。 2、功能：让代码编写异常灵活。 3、注意：①表示执行函数，结果是函数的返回值。 ②定义好的函数名，函数对象。 ③将函数作为高阶函数时，不能加“（）”。 4、装饰器函数：返回值是高阶函数的函数。 函数的柯里化。 Python 模块 模块 Python中的模块是一个 .py 文件 内部可以包含定义好的函数、变量、类、数据、执行的功能 可以用作内置模块，自定义模块，第三方模块 （使用原因）调用模块可以简化开发，减少代码量 （怎么使用）使用
2020-11-21 19:27:03
83
原创 Python笔记
什么是Python Python 是一个高级动态、解释性、编译性、互动性和面向对象的脚本语言。越多被用于独立的、大型项目的开发 为什么python能够成为近几年最火的编程语言 python优点很多：语言简洁、易学、开发效率高、可移植性强. 火起来的主要原因，还是它的应用范围广泛 学会Python的话，像：人工智能工程师、数据分析师、爬虫工程师、前后端开发、大数据工程师、运维测试工程师等等岗位都可以自由选择 python函数 1.定义函数 def 函数名(): 函数封装的代码 1.def是英文define的缩
2020-11-04 19:06:22
104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人