- 博客(6)
- 收藏
- 关注
原创 2021-03-05
大数据生态与spark简介大数据的四个 v特点一、Volume:数据量大,包括采集、存储和计算的量都非常大。二、Variety:种类和来源多样化。包括结构化、半结构化和非结构化数据,三、Value:数据价值密度相对较低,随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低四、Velocity:数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。spark简介是基于内存计算的大数据并行计算框架,可
2021-03-05 12:29:49 84
原创 2020-12-01
什么是模块Python中的模块就是一个.py文件内部可以包含定义好的函数、变量、类、数据、执行的功能模块可以被别的程序引入,以使用该模块中的函数等功能内置模块、自定义模块、第三方模块为什么使用模块调用模块可以简化开发,减少代码量。模块(module)其实就是 py 文件,里面定义了一些函数、类、变量等Python代码以.py文件形式保存。而每个.py文件都可以看作是一个模块。当一个模块调斜体样式用另一个模块时,便需要import语句。from … import …模块提供了类似名字空间的
2020-12-01 20:27:12 67
原创 2020-11-25
高阶函数高阶函数是在Python中一个非常有用的功能函数,所谓高阶函数就是一个函数可以用来接收另一个函数作为参数,这样的函数叫做高阶函数。map()map()是 Python 内置的高阶函数,它接收一个函数function 和一个 list,并通过把函数 function 依次作用在 list 的每个元素上,得到一个新的 list 并返回。这个例子中,假设用户输入的英文名字不规范,没有按照首字母大写,后续字母小写的规则,可以利用map()函数把一个list(包含若干不规范的英文名字)变成一个包含规范
2020-11-25 20:51:24 97
原创 2020-11-19
什么是模块?模块是一个包含事先定义好的函数和变量的文件,其后缀名是.py模块可以被别的程序引入,以使用该模块中的函数等功能。使用模块import 语句import sys 引入 python 标准库中的 sys.py 模块;这是引入某一模块的方法sys 对python接收器做一些设置,或获取一些解释器信息sys.path 包含了一个 Python 解释器自动查找所需模块的路径的列表,path属性,list类型可以修改from … import 语句from 模块名 import 函数名(也可以是变量名
2020-11-19 08:50:25 289
原创 2020-11-12
装饰器函数:在不修改其他函数代码的前提下,给其他函数增加(修改)功能的函数。1.装饰器函数高阶函数器函数2.将原函数作为装饰器函数的参数3.在装饰器函数中定内部函数,在内部函数中执行原函数4.将新增的功能添加到内部函数中5.将内部函数返回6.将返回的内部函数替代原函数。装饰器的应用场量:登录验证, 写日志、执行时间、权限管理。生成器函数1.包含yield语句的函数可以用来创建生成器对象,这样的函数也称生成器函数。2.Python在处理函数中的yield语句时,返回yield语句所指定的
2020-11-12 08:55:25 78
原创 2020-11-04
函数的定义所谓函数,就是把具有独立功能的代码块组织成为一个小模块,在需要的时候调用函数的使用包含两个步骤1.定义函数–封装独立的功能2.调用函数–享受封装的成果函数的作用: 在开发时,使用函数可以提高编写的效率以及代码的重用。参数的作用函数,把具有独立功能的代码块组织成为一个小模块,在需要的时候调用函数的参数,增加函数的通用性,针对相同的数据处理逻辑,能够适应更多的数据1.在函数内部,把参数当作变量使用,进行需要的数据处理2.函数调用时,按照函数定义的参数顺序,把希望在函数内部处理的数据
2020-11-04 20:16:46 87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人