[新手-数据分析师]pandas的学习笔记

为什么80%的码农都做不了架构师？>>>   

pandas常用的函数有这些：

pd.DataFrame

pd.Series

pd.read_csv

pd.concat

pd.Timestamp

pd.to_datetime

pd.date_range

pd.index

pd.merge

先从实际上能够用得到的函数开始学起走，然后遇到问题再查询帮助文档吧！

##pd.DataFrame 创建一个DataFrame对象，类似excle里面创建一张表。

df = pd.DataFrame(data={'y':[1,2,3],
						'score':[93,89,90],
						'name':['dire','pauli','bohr'],
						'birthday':['1992-08-08','1990-04-23','1998-10-07']})

print(type(df))
print(df.dtypes)

class pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)

data为numpy，ndarray (structured or homogeneous), dict, or DataFrame

Dict可以是Series, arrays, constants, objects类型

copy是从输入内容中copy数据。感觉解释不清楚，还是引入官方解释吧：Copy data from inputs. Only affects DataFrame / 2d ndarray input。

更多细节参考：参考资料

##pd.Series

s = pd.Series([1,2,3,np.nan,5,6])
s1 = pd.Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])
print(s)
print(s1)

class pd.Series(data, index=index)

data为 dict， ndarray，a scalar value (like 5)

##pd.read_csv

df = pd.read_csv('test.csv',sep=',',encoding='utf8')
print(type(df))

不做过多介绍，记住sep和encoding参数。

更多细节参考：参考资料

pandas读取其他格式 read_excel,read_hdf,read_sql,read_json,read_html,read_msgpack,read_gbq,read_stata,read_sas,read_clipboard,read_pickle

pandas保存文件 to_csv,to_excel,to_hdf,to_sql,to_json,to_html,to_msgpack,to_gbq,to_stata,to_sas,to_clipboard,to_pickle

##pd.merge/pd.concat/

• pd.merge 键拼接列
• pd.concat 可沿着一条轴将多个对象堆叠到一起

left = pd.DataFrame({'key':['k0','k1','k2','k3'],
					'A':['A0','A1','A2','A3'],
					'B':['B0','B1','b2','B3']})
right = pd.DataFrame({'key':['k0','k1','k2','k3'],
					'C':['C0','C1','C2','C3'],
					'D':['D0','D1','D2','D3']})
print(left)
print(right)
res = pd.merge(left,right,on='key')
print(res)

pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False)

left与right：两个不同的DataFrame

how：指的是合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接);默认为inner

on : 指的是用于连接的列索引名称。必须存在右右两个DataFrame对象中，如果没有指定且其他参数也未指定则以两个DataFrame的列名交集做为连接键

left_on：左则DataFrame中用作连接键的列名;这个参数中左右列名不相同，但代表的含义相同时非常有用

right_on：右则DataFrame中用作 连接键的列名

left_index：使用左则DataFrame中的行索引做为连接键

right_index：使用右则DataFrame中的行索引做为连接键

sort：默认为True，将合并的数据进行排序。在大多数情况下设置为False可以提高性能

suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为('_x','_y')

copy：默认为True,总是将数据复制到数据结构中；大多数情况下设置为False可以提高性能

indicator：显示合并数据中来源；如只来自己于左边(left_only)、两者(both)

left = pd.DataFrame({'key1':['k0','k1','k2','k3'],
					'key2':['k0','k1','k0','k1'],
					'A':['A0','A1','A2','A3'],
					'B':['B0','B1','b2','B3']})
right = pd.DataFrame({'key1':['k0','k1','k2','k3'],
					'key2':['k0','k0','k0','k0'],
					'C':['C0','C1','C2','C3'],
					'D':['D0','D1','D2','D3']})
print(left)
print(right)
res = pd.merge(left,right,on=['key1','key2'],how='outer')
print(res)

体验how的合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接)，默认为inner。

df1 = pd.DataFrame({'col1':[0,1],
					'col_left':['a','b']})
df2 = pd.DataFrame({'col1':[1,2,2],
					'col_right':[2,2,2]})
print(df1)
print(df2)
res1 = pd.merge(df1,df2,on='col1',how='outer',indicator=True)
res2 = pd.merge(df1,df2,on='col1',how='outer',indicator='column_merge')
print(res1)
print(res2)

 这个主意解释indicator的作用

更多细节参考：merge参考资料

df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['a','b','c','d'])
df3 = pd.DataFrame(np.ones((3,4))*2,columns=['a','b','c','d'])

print(df1)
print(df2)
print(df3)

res = pd.concat([df1,df2,df3],axis=0,ignore_index=True)
print(res)

andas.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True)

concat方法相当于数据库中的全连接(UNION ALL),可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner 只有这两种)。默认outer，outer保留两个不同列数据，没有的添加nan代替。inner相对于裁剪掉两个合并元素中没有的。解释太麻烦，运营代码看案例吧！

df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['b','c','d','e'])
res_outer = pd.concat([df1,df2])
res_inner = pd.concat([df1,df2],join='inner',ignore_index=True)
print(res_outer)
print(res_inner)

igore_index=False表示不更改index，而为Ture表示，重新排序。可以去掉上面中ignore_index=True试试效果。

df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'],index=[1,2,3])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['b','c','d','e'],index=[2,3,4])
res1 = pd.concat([df1,df2],axis=1)
res2 = pd.concat([df1,df2],axis=1,join_axes=[df1.index])
print(res1)
print(res2)

jion_axes，主要是在左右合并中考虑哪个作为主要index。

更多细节参考：merge参考资料

未完，还将继续更新中...

这两天开通了自己的博客，nigaea.com，欢迎来扰！

转载于:https://my.oschina.net/at5/blog/791794