wangyunchao_03-CSDN博客

转载大数据之 spark介绍和基本操作

spark是先进的大数据分布式编程和计算框架。试图替代hadoop，它是内存分布式计算，所以运行速度比磁盘读取式io流hadoop快100倍；spark的运行模式有批处理，流方式和交互方式hadoop是离线式计算，spark可以实时计算spark主要基本功能在SPARK CORE里，它是spark的调度中心，其中包括任务调动，内存管理，容错管理及存储管理。同时也是一些列应用程序的集中地。包括两个重...

2018-04-24 23:39:29 523

转载 mysql事务

事务处理是将多个操作或者命令一起执行，所有命令全部成功执行才意味着该事务的成功，任何一个命令失败都意味着该事务的失败。以银行转账为例（100块都不给）， A要给B 转账100元， A转账的指令已经成功发出，而B 由于未知的原因接收失败，如果两个命令单独执行，那么A账户少了100块，但是B又没收到100块，显而易见是不合理的；如果将A向B 转账100元当成一个事务处理，那么由于B 接收的失败，整...

2018-03-10 11:21:01 157

原创 python基础 lambda 冒泡闭包和装饰

# python使用lambda创建匿名函数foo = [ 18, 9, 22, 17, 24, 8, 12, 27]print(list(filter(lambda x:x%3==0,foo)))print(list(map(lambda x:x*2+10,foo)))import functools,_functoolsdef max(x,y): if x<y: ...

2018-02-25 18:59:24 219

原创 python基础推导式

#三元操作符i=1if i==1: print('i==1')else: print('i!=1')i==1r=True if 1==1 else Falseprint(r)# 可以把python 列表推导式理解为，利用其创建新列表list的一个简单方法。列表推导式比较像for循环语句，必要时也可以加入if条件语句完善推到式。# 列表推导式标准格式# 也就是：[...

2018-02-24 15:16:40 830 1

原创 python第11课，生成列表式生成器，迭代器，异常

#列表生成式# 是python内置的简单却强大的可以用来创建list的生成式#例如要生成[1,2,3,4,5,6,7,8,9] 可以用list(range(1,10))print(list(range(1,10)))#要生成[1*1,2*2,3*3,4*4...10*10]循环的方法l=[]for x in range(1,11): l.append(x*x)print(l)

2018-02-05 10:43:27 324

原创 python第10课使用slots，@property

# 正常情况下，当我们定义了一个class，创建了一个class的实例后，我们可以给该实例绑定任何属性和方法，这就是动态语言的灵活性。先定义class：class Student(object): passs=Student()s.name='tom'print(s.name)# 还可以尝试给实例绑定一个方法：def set_age(self,age): self.ag

2018-02-05 10:40:04 148

原创 python基础第七八课类与对象

面向对象程序设计方法的基本思想是将任何事物都当做对象，是其所属对象类的一个实例。定义：类是具有相同属性和方法的对象的集合。类的属性，实际上就是类内部的变量；类的方法是在类内部定义的函数。对象是具体的事物，是类实例化的结果。每个对象的属性值可能不同，但所有由同一个类实例化的来的对象拥有共同的属性和方法。格式：使用类之前，先定义类。类定义后就产生一个名字空间，与函数类似

2018-01-29 03:57:36 376

原创 python基础第六课函数

函数函数是组织好的，课重复使用的，用来实现单一或者相关功能的代码块，有高复用低耦合的特点。语法：# def 函数名（参数列表）# 函数体# return小练习：加法def add(a,b): print(a+b) return a+bret=add(3,3)print(ret)数据类型：可变类型和不可变类型不可变类型:如数字、字

2018-01-21 15:30:07 168

原创 python基础第五课字典集合

一，字典dict 字典是花括号包围的，由键值对形式的任何数据类型，键值对里的键和值由冒号隔开，键值对之间由逗号隔开特点是键唯一，值不必唯一；值可以是任何数据类型，但键是不可变的，如数字，字符，元组。dict={'name':'tom',"age":21,"grade":2}访问字典：print(dict['name'])若访问字典里没有的键，则抛出异常修改字

2018-01-21 15:19:38 266

原创 python基础第四课笔记列表、元组

列表1 创建列表：数据集合以[]括号框起来，元素由“，”分隔，列表中可以包含任何数据类型。list=["a",1,2.22,False,[1,2,3],{}]2 切片：类似于字符串，可以分片和索引操作列表list1=['小明','xiaohua',20,80,"name","age"]print(list1[1]) #输出第二位print(list1[-1]) #最后一位print(l

2018-01-18 22:18:37 187

原创 python基础第三课循环列表

循环（while循环、for循环）#格式 while 判断条件：# 循环体#练习1、输出1-100的偶数和n=1;oushu=0;jishu=0while n100: if n%2==0: oushu+=n else: jishu+=n n += 1print("1-100偶数和：{0}".format

2018-01-16 15:55:45 351

原创 python基础第二课笔记字符串

# 字符串# 1.字符串定义：单引、双引号、三引号都可以定义字符串name='andy\n'namr1="tom"html=''' '''#print(name,namr1,html)# 2.转义字符# \t制表符 \n换行符# 3.字符串截取：切片[] [:] [::]#以一个邮箱为例：str='zhansan@163.cn'print(str[

2018-01-14 14:12:17 233

原创第一课 python基础

# 1.变量：存储数据的容器，一个存储数据空间的表示# 变量不需要声明# 变量赋值:=counter = 100; # 整型miles = 111.0; # 浮点型name = 'tom'; # 字符型print(counter);print(miles);print('name');# 多个变量赋值# a=b=c=d=2;# print(a,b,c,d

2018-01-11 14:21:40 147

wangyunchao_03的博客