weixin_46524609的博客

关于spark一、Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以下特点。1.运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，

元组属于不可变序列，其元素不可改变，即元组一旦组建，不能改变元素的值。如果确实需要修改，只能再创建一个元组。元组的定义形式与列表相似，区别在于定义元组时所有元素放在一对（）里。1.元组的创建： x=(1）2.读取元素：与列表相同，使用索引可以直接访问元组的元素，方法为：元组名[索引]3.元组切片：x[star,end]4.检索元素：使用元组对象的index（）方法可以获取指定元素首次出现的下标。x.index(key)使用元组对象的count（）方法统计元组中指定元素出现的次数。x.count(k

一、文件操作1.open函数  Python使用poen函数操作文件open(file,mode,encoding)file: 文件名 绝对路径 、相对路径open(“D:\Python\test\a.txt”)open(r"E:\java\jdbc\mysql1-5.10.11.jar")open("/home/stu/test/a.txt")open(“test/a.txt”)mode :“r” “w” “a” “r+” “w+” “a+” “b”使用“w”模式创建文件，慎用，文件存

os模块常用方法1）os.name #字符串指示当前使用平台(win➡️’nt’,Linux➡️’posix’)2）os.system(“command”)#运行系统命令，直接显示3）os.environ#获取系统环境变量一、什么是模块？1.python中的模块是一个包涵事先定义好的函数和变量的文件，其后缀名为.py；2.模块可被别的程序引入，以使用该模块中的函数等功能。二、import模块名1.例：inport os（一个模块被导入一次，防止导入模块被重复执行）2.from… imp

第二次笔记什么是高阶函数（1.函数可以作为参数被传递2.函数可以做为返回值输出）（1）map(f, list)返回每个元素通过f计算完的value的listmap()函数接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回。（2）reduce(f,list)函数（求list中数的和）reduce把一个函数作用在一个序列[x1, x2, x3…]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一个元素做累积计算。（3）filter

一、函数的定义所谓函数，就是把具有独立功能的代码块组织成为一个小模块，在需要的时候调用函数的使用包含两个步骤1.定义函数–封装独立的功能2.调用函数–享受封装的成果函数的作用： 在开发时，使用函数可以提高编写的效率以及代码的重用。参数的作用函数，把具有独立功能的代码块组织成为一个小模块，在需要的时候调用函数的参数，增加函数的通用性，针对相同的数据处理逻辑，能够适应更多的数据1.在函数内部，把参数当作变量使用，进行需要的数据处理2.函数调用时，按照函数定义的参数顺序，把希望在函数内部处理的