- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据生态与Spark简介
大数据生态与Spark简介 一、Spark简介 1、Spark是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 2、Spark的特点 ①运行速度快：使用DAG执行引擎以支持循环数据流与内存计算 ②容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程 ③通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件 ④运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行
2021-02-28 22:04:49
375
原创 2020-12-04
一、随机数模块.py 随机整数方法 包含开始值和结束值 import random print（random。randint(1,41)） 随机范围方法 rangrange(开始值，结束值，步长值)含头不含尾print(random.rangrange(1,10,2) 随机小数 0-1 print（random.random()） 随机序列中的值（字符串，列表，元组，字典，集合） print（random.choice()） 二、安装第三方模块 cmd命令提示符中执行 pip(Python Install
2020-12-04 22:35:13
104
原创 2020-12-04
一、模块 1、什么是模块？ python中的模块就是一个.py文件。 （文件内部可以包含定义好的函数、变量、类、数据执行的功能。） 2、为什么使用模块？ 调用模块可以简化开发，减少代码量。 3、怎么使用模块？ 使用"import 模块名"或"from(模块名，变量名，类名)import 函数名" 4、什么时候用到模块？ 需要实现某个功能时，发现它已经存在某个模块中，直接调用即可。 5、模块的分类：内置模块 自定义模块 第三方模块 6、怎么让代码不执行？ 判断_name_的值是否等于_main_ if_nam
2020-12-04 20:25:32
56
原创 2020-11-18
一、装饰器函数 1、装饰器函数:①不修改其他函数代码。 ②给其他函数增加或修改功能的函数。 2、装饰器函数是高阶函数。 3、功能：①它将原函数作为参数。 ②一般在装饰器中需要定义一层或两层内部函数。 ③原函数需要在装饰器内部的函数中执行。 ④将内部函数作为返回值返回。 4、装饰器函数 装饰器语法糖 func =log_info（func）(“_”表示是内部函数，是自己用的函数，要想让外部用要用return) 5、装饰器的应用场景：①给大量函数增加相同功能时。 ②日志装饰器、测试装饰器、功能增强。 6、带参装
2020-11-18 21:34:26
122
原创 2020-11-11
1、匿名函数：lambda表达式 临时只使用一次的简单函数，一般用于给高阶函数传参。 （lambda 参1,参2… ：返回值） 2、递归函数：程序调用，在函数内部调用自己的函数。（要有结束条件，用于退出递归。） 栈：先入后出的结构，凡是可以使用递归实现的问题，使用循环也可以实现。 使用递归可以写出简介的代码，python递归的层数是有限制的（998层），递归会消耗大量系统资源，执行效率较低。 3、生成器yield语句 在生成器函数中使用yield关键字返回数据，yield返回数据后，函数并没有结束，只是暂停
2020-11-11 21:51:19
101
原创 函数
函数 函数的概念：一个被封装好的具有特定功能的代码段，可以被重复使用。 1、自定义函数：通过def关键字定义。（后接函数标识符名称和圆括号，“def函数名（参数）：”。） 2、形参，实参和传参：1形参实在定义函数名和函数体的时候使用的参数，目的是用来接收调用该函数时传递的参数。2实参可以是常量、变量、表达式、函数等，无论实参是何种形式的量，在进行函数调用时，他们都必须具有确定的值，以便把这些值传送给形参。因此应预先用赋值，输入等方法使实参获得确定值。3传参：调用函数时可以通过参数给函数传值，通过参数赋
2020-11-01 15:40:56
97
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人