python数据科学实践指南

数据科学

1.数据科学的过程分为：数据采集、数据清洗、数据处理和数据查询与可视化。
2.数据科学需要的技能：python编程语言、算法、数据库、操作系统、概率与统计、线性代数和英语。
3.编程学习网站：codecademy、pluralsight
4.算法学习网站：

Python安装

1.windows版本下载网址
2.在线文档3.8,在线文档3.8
3.版本变更3.8
4.检查运行python: Win+R打开运行，输入cmd打开命令行输入python回车，运行成功会返回版本号等信息进入了shell编程模式输入exit()可退出

IDE开发工具

pycharm、sublime Text 3 和notepad++

python基础知识

1.python的5种基本数据类型：None,int(整数),float(浮点型),bool(布尔型),str(字符串型)
2.变量赋值：
python赋值命名是地址引用。
id(变量名) 可以显示地址值
3. 操作符和表达式：

	算术操作符：+、-、*、**、/、//、%
    位操作符：<<、>>、&、|、^、~、
    比较操作符：<、>、<=、>=、==、!=
    逻辑操作符：and、or、not、

4.字符串：

	拼接字符串：+，*
 	分片操作：变量名[开始位置:结束位置:步长], 口诀 **左闭又开，从零开始**  如：s='abcdefg', s[1:-1:1] 输出：bcdef
	字符串长度：len(变量名),如 len(s) 输出：7

5.获取键盘输入：
raw_input(‘请输入’)
6.流程控制：

	条件判断：if x % 2 == 0:
					  	print('1')
					  elif x % 3 == 0:
					    print('2')
					   else:
					   	print('3')
	 循环：while循环：
    	            x = 5
    	 			iters = 10
    	 			ans = 0
    	 			while iters > 0:
    	 				ans = ans + x
    	 				iters -= 1
    	 			print(ans)
	 			for循环：
	 				for iters in range(10):
	 					if ans % 3 ==0:
	 						continue
	 					if ans >= 10:
	 						break	
	 					print(iters)					 	 								   	 						  

7.注释

		#注释一行
		"""
		注释
		多行
		"""

python函数及异常处理

1.函数：

	定义函数：
				def my_abs(num):
					if num < 0:
						return -num
					return num
				 my_abs(-1)
      实参：flip(y=1,x=2)
      可变参数：def func(*args,**kwargs):
      						print(args,kwargs)				 		
	递归：
			def fact(n):
				if n > 1:
					return n * fact(n-1)
				else
					return n					

2.闭包

	闭包是引用了自由变量的函数
	def gen_counter(name):
		count=[0]
		def counter():
			counter[0]+=1
			print(name,str(count[0]))
		return counter
	c = gen_counter('master')
	c()
	c()	

3.异常处理

	def div(a,b):
		try:
			ret = a / b
		except ZeroDivsionError:
			print('0不能做被除数')
		finally:
			print('done')	
		return ret
	div(1,0)			

高级字符串处理

	s.strip()  去除字符串两边的空白字符
	s.capitalize() 首字母大写
	s.lower()		字母小写
	s.title()	每个单词首字母大写
	s.upper()	字母大写
	s.isalnum()	判断字符串中是否包含字母或数字
	s.split()	分割字符串
	s.format() 	格式化字符串
	re.compile() 创建正则表达式			

容器类型

不可变类型：元祖(tuple) s=(1,2,3)
可变类型：列表(list) s=[1,2,3]
字典(dict) s={‘a’:1,‘b’:2}
集合(set)

python标准库

math模块

time模块

random模块

fileinput和glob模块

bz2和gzip模块

json模块

python IO读写外部数据

csv模块

pandas模块

MySQLdb模块

torndb模块

psycopg2模块

pymongo模块

elasticsearch模块

数据科学的第三方库

numpy库

pandas库

sklearn和scipy库

python图数据分析库

networkx库

大数据工具

hadoop工具

spark工具