别噶了-CSDN博客

原创 Spark

** 1. Spark简介：大数据（big data）指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。对于一开始学习的hadoop，spark相较而言在近几年中流行起来，甚至有追赶上hadoop的趋势。 Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 2013年Sp

2021-03-01 20:58:09 103

原创 python笔记五

正则表达式正则表达式是一种用来匹配字符串的强大工具他的设计思想是一种描述性的语言来给字符串定义一个规则，范师傅和规则的字符串我们就认为他匹配否则，该字符串就是不合法的。正则表达式的规则字符预定义字符数量词边界匹配逻辑\分组特殊构造项目打包配置 1.包管理 Python的模块或源文件直接复制到目标目录中，就可以直接使用了。但是为了更多项目调用使用，或和共享给其他人，或者发布到网络，以便他人使用。目的也是为了复用。 2.Pypi源 Pypi（Python Package Ind

2020-11-23 19:00:49 116

原创 Python笔记四

Python模块:模块就好比是工具包，要想使用这个工具包中的工具(就好比函数)，就需要导入这个模块 1,init.py init.py控制着包的导入行为可以在__init__内添加导入的功能比如from ab import a 2,init.py为空仅仅是把这个包导入，不会导入包中的模块 3,all 在__init__.py文件中，定义一个__all__变量，它控制着from包名import *时导入的模块。 4,使用模块import+模块名;再模块被调用后会自动被python解释器编译成二进制文件；

2020-11-22 17:41:38 184

原创 Python笔记3

高阶函数 1、定义：①其中一个或多个参数是函数对象。 ②返回值是函数对象。 2、功能：让代码编写异常灵活。 3、注意：①表示执行函数，结果是函数的返回值。 ②定义好的函数名，函数对象。 ③将函数作为高阶函数时，不能加“（）”。 4、装饰器函数：返回值是高阶函数的函数。函数的柯里化。 5、柯里化：是把接收多个参数的函数变换成接受一个单一参数(最初函数的第一个参数)的函数，并且返回接受余下的参数且返回结果的新函数的技术。 Python 模块模块 Python中的模块是一个 .py 文件内部可以包含定义好的

2020-11-21 18:00:33 56

原创 python笔记2

装饰器函数定义：在不修改原函数代码的前提下，给原函数增加或者修改功能，可以以使用装饰器函数。 1.它是一个高阶函数。 2.将原函数作为参数，放到装饰器内部定义的函数中执行。 3.在内部函数中增加新功能。 4.返回内部函数用于替换原函数 def tools（func）： def inter（*arges，**kwargs）： print（“开始执行…”） func（arges，**kwargs） print（“结束执行…”） return res return inter @tools #装饰器语法糖 fu

2020-11-20 20:48:52 79

原创 Python笔记

Python笔记数据类型：字符串、元组、数字、列表、字典、集合有序：列表、字符串、元组无序：字典、集合函数:是一个被封装起来的具有特定功能的代码段，可以被重复调用执行参数:形参、实参、传参形参:函数的局部变量，用于接收函数外部的数据实参:调用执行函数时，给它传递的外部的数据传参:将实参的值赋值给形参返回值:将函数内部的数据复制到函数外部匿名函数：lambda 定义时没有函数名的函数，临时只使用一次的简单函数，，一般用于给高阶函数传参。递归函数：在函数内部调用自己的函数，递归函

2020-11-04 18:41:41 88

weixin_46412093的博客