03-23 pandas相关总结

一、格式设置

	#设置列名与数据对齐
	pd.set_option('display.unicode.ambiguous_as_wide', True)
	pd.set_option('display.unicode.east_asian_width', True)
	
	#显示所有列
	pd.set_option('display.max_columns', None)
	
	#显示10行
	pd.set_option('display.max_rows', 10)
	
	#设置显示宽度为1000,这样就不会在IDE的输出框中换行了
	pd.set_option('display.width', 1000)

二、merge方法

pd.merge( data1,data2,on= ..,how =..)  类似 于SQL中的链接查询
on -基准字段，how= left（左连接） 、inner（内连接）、right（右链接）、outer（外连接）

inner-内连接，它在拼接的过程中会取两张表的交集
left-时，以左边表格的键为基准进行配对，如果左边表格中的键在右边不存在，则用缺失值NaN填充。
'right'时，以右边表格的键为基准进行配对，如果右边表格中的键在左边不存在，则用缺失值NaN填充。
'outer'是外连接，在拼接的过程中它会取两张表的键（key）的并集进行拼接

三、行列操作

选择单列。可以直接用列名选择，也可以通过ix、iloc、loc方法进行选择行、列。

ix方法可以使用数值或者字符作为索引来选择行、列。

iloc则只能使用数值作为索引来选择行、列。

loc方法在选择列时只能使用字符索引。

#返回pandas序列结构的类
print(df['age'])
print(df.age)
print(df.ix[:, 'age'])
print(df.loc[:, 'age'])
#返回pandas数据框类
print(df[['age']])
print(df.iloc[:, 2:3])

选择多列。ix、iloc、loc方法都可使用。

只不过ix和loc方法，行索引是前后都包括的，而列索引则是前包后不包(与列表索引一致)。

iloc方法则和列表索引一致，前包后不包。

#列索引前包后包
print(df.ix[0:5, 0:5])
print(df.loc[0:5, ('name', 'user_id', 'age', 'gender', 'city')])
#列索引前包后不包
print(df.iloc[0:5, 0:5])

四、创建列

#直接列赋值
df['adult'] = df['age'] // 18
print(df)

#使用assign赋值
df = df.assign(adult=df['age'] // 18)
	print(df)
删除列--使用数据框的方法drop。

#删除单列
print(df.drop('date', axis=1))
#删除多列
print(df.drop(['praise', 'date'], axis=1))

五、查询

单条件查询

使用比较运算符进行查询，如「== > < >= <= !=」。生成bool索引。

#生成bool索引
print(df.age > 17)
#返回符合条件的数据
print(df[df.age > 17])

多条件查询

	加个逻辑运算符。如「& ~ |」，代表了与、非、或。

#筛选年龄成年且性别为女性的用户
print(df[(df.age > 17) & (df.gender == 2)])

#筛选评论点赞数不为0的用户
print(df[~(df.praise == 0)])

#筛选地区在河南或湖南的用户
print(df[(df.city == 430100) | (df.city == 410100)])

使用query进行条件查询。

# 筛选成年用户
print(df.query('age > 17'))
# 筛选地区在河南或湖南的用户
print(df.query('(city == 430100) | (city == 410100)'))

分组汇总

groupby方法可以进行分组汇总。agg方法则可一次汇总多个统计量。

#对性别分组,汇总点赞数,获取点赞数最大值
print(df.groupby('gender')[['praise']].max())
# 对性别和年龄分组,获取点赞数的平均值
print(df.groupby(['gender', 'age'])[['praise']].mean())
# 对性别分组,获取点赞数和年龄的平均值
print(df.groupby(['gender'])[['praise', 'age']].mean())
# 对性别分组,获取性别的计数值
print(df.groupby(['gender'])[['gender']].count())
# 多重索引
print(df.groupby(['gender', 'date'])['age', 'praise'].agg(['mean', 'max', 'min', 'count']

更多参考：https://zhuanlan.zhihu.com/p/59712253