weixin_52119520的博客

大数据生态和spark简介 大数据生态 进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。 一 大数据时代 1 第三次信息化浪潮 根据IBM首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革。 2 信息科技为大数据时代提供技术支撑 ①存储设备容量不断增加 ②CPU处理能力大幅提升 ③网络带宽不断增加 3 数据产生方式的变革促成大数据时代的来临 二 大数据概念 随着云时代的来临，大数据（Big dat

元组属于不可变序列，其元素不可改变，即元组一旦组建，不能改变元素的值。如果确实需要修改，只能再创建一个元组。元组的定义形式与列表相似，区别在于定义元组时所有元素放在一对（）里。 1.元组的创建： x=(1） 2.读取元素：与列表相同，使用索引可以直接访问元组的元素，方法为：元组名[索引] 3.元组切片：x[star,end] 4.检索元素：使用元组对象的index（）方法可以获取指定元素首次出现的下标。x.index(key)使用元组对象的count（）方法统计元组中指定元素出现的次数。x.count(ke

Python生成随机数的方法 random.random()用于生成 用于生成一个指定范围内的随机符点数，两个参数其中一个是上限，一个是下限。如果a > b，则生成随机数 1、n: a <= n <= b。如果 a <b， 则 b <= n <= a。 1、print random.uniform(10, 20) 2、print random.uniform(20, 10) 3、#---- 4、#18.7356606526 5、 #12.5798298022 6、 ran

什么是模块? 模块是一个包含事先定义好的函数和变量的文件，其后缀名是.py模块可以被别的程序引入，以使用该模块中的函数等功能。 使用模块 import 语句import sys 引入 python 标准库中的 sys.py 模块；这是引入某一模块的方法sys 对python接收器做一些设置，或获取一些解释器信息sys.path 包含了一个 Python 解释器自动查找所需模块的路径的列表，path属性，list类型可以修改from … import 语句from 模块名 import 函数名(也可以是变量名

内建函数 –Pyhton中提供了大量的内建函数，这些函数直接在Python中可以用，不需要导入任何的模块。基本的内置函数 abs() 函数是返回数字的绝对值。 匿名函数 lambda 函数可接受任意数量的参数，但只能有一个表达式。 Lambda 函数可用于另一个函数内。 生成器函数 1.包含yield语句的函数可以用来创建生成器对象，这样的函数也称生成器函数。2.Python在处理函数中的yield语句时，返回yield语句所指定的对象/值，但不会终止当前函数的执行，而是暂时中断，保留当前的执行状态/上下

函数是什么呢？ 函数是对程序逻辑进行结构化或过程化的一种编程方式，写函数的目的是为了代码的重用。关于函数的定义呢，主要有以下几点： 1.函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。 2.任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。 3.函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。 4.函数内容以冒号 : 起始，并且缩进。 5.函数名只能包含字符串、下划线和数字且不能以数字开头。尽量简短，并表达函数功能，不能与关键字重名。 6.return [