Pandas和Matplot常用操作记录

Pandas

常用pandas存储和读取文本文件，且pandas用于统计和分数数据非常方便。
但对于常用的groupby操作不太熟练，记录便于回顾。
参考教程

基本操作

company=["A","B","C"]
​
data=pd.DataFrame({
    "company":[company[x] for x in np.random.randint(0,len(company),10)],
    "salary":np.random.randint(5,50,10),
    "age":np.random.randint(15,50,10)
}
)

groupby可以将dataframe按照某一列分类，使用方式如下(注意使用groupby不用方括号而是圆括号，里面的列名用引号)：

group_data = df.groupby('first_column_name')

print(list(group_data))

常用-agg 聚合操作

agg-mean

In [12]: data.groupby("company").agg('mean')
Out[12]:
         salary    age
company
A         21.50  27.50
B         13.00  29.00
C         29.25  27.25

agg-sum

In [17]: data.groupby('company').agg({'salary':'median','age':'mean'})
Out[17]:
         salary    age
company
A          21.5  27.50
B          10.0  29.00
C          30.0  27.25

总结

总结来说，groupby的过程就是将原有的DataFrame按照groupby的字段，划分为若干个分组DataFrame，被分为多少个组就有多少个分组DataFrame。所以说，在groupby之后的一系列操作（如agg、apply等），均是基于子DataFrame的操作。理解了这点，也就基本摸清了Pandas中groupby操作的主要原理。下面来讲讲groupby之后的常见操作。

聚合操作是groupby后非常常见的操作，会写SQL的朋友对此应该是非常熟悉了。聚合操作可以用来求和、均值、最大值、最小值等，上面的表格列出了Pandas中常见的聚合操作。

Matplot

参考

scatter

散点根据数值大小调整散点面积和颜色

from matplotlib import pyplot as plt
from random import random

x = list(range(10))
y = [random() for i in range(10)]
z = [random() for i in range(10)]
plt.scatter(x,y,c=z)
plt.show()

增加颜色条-colorbar

from matplotlib import pyplot as plt
from random import random

x = list(range(10))
y = [random() for i in range(10)]
z = [random() for i in range(10)]
plt.scatter(x,y,c=z)
plt.colorbar()
plt.show()

改变颜色条-cmap

from matplotlib import pyplot as plt
from random import random

x = list(range(10))
y = [random() for i in range(10)]
z = [random() for i in range(10)]
plt.scatter(x,y,c=z,cmap="Blues")
plt.colorbar()
plt.show()

bar

参考
如何多行数据对比

• 多次调用bar即可
• x轴距离计算好
• x轴标签要调整合适确保对应

选择方案：1.固定坐标轴位置，调整柱宽度；2.固定柱宽度，调整x轴标签位置；

matplot代码整体流程：

# import matplot and numpy
import matplotlib
import matplotlib.pyplot as plt
import numpy as np

plt.figure(figsize=(13, 4))
# 构造x轴刻度标签、数据
labels = ['G1', 'G2', 'G3', 'G4', 'G5']
first = [20, 34, 30, 35, 27]
second = [25, 32, 34, 20, 25]
third = [21, 31, 37, 21, 28]
fourth = [26, 31, 35, 27, 21]

# 两组数据
plt.subplot(131)
x = np.arange(len(labels))  # x轴刻度标签位置
width = 0.25  # 柱子的宽度
# 计算每个柱子在x轴上的位置，保证x轴刻度标签居中
# x - width/2，x + width/2即每组数据在x轴上的位置
plt.bar(x - width/2, first, width, label='1')
plt.bar(x + width/2, second, width, label='2')
plt.ylabel('Scores')
plt.title('2 datasets')
# x轴刻度标签位置不进行计算
plt.xticks(x, labels=labels)
plt.legend()
# 三组数据
plt.subplot(132)
x = np.arange(len(labels))  # x轴刻度标签位置
width = 0.25  # 柱子的宽度
# 计算每个柱子在x轴上的位置，保证x轴刻度标签居中
# x - width，x， x + width即每组数据在x轴上的位置
plt.bar(x - width, first, width, label='1')
plt.bar(x, second, width, label='2')
plt.bar(x + width, third, width, label='3')
plt.ylabel('Scores')
plt.title('3 datasets')
# x轴刻度标签位置不进行计算
plt.xticks(x, labels=labels)
plt.legend()
# 四组数据
plt.subplot(133)
x = np.arange(len(labels))  # x轴刻度标签位置
width = 0.2  # 柱子的宽度
# 计算每个柱子在x轴上的位置，保证x轴刻度标签居中
plt.bar(x - 1.5*width, first, width, label='1')
plt.bar(x - 0.5*width, second, width, label='2')
plt.bar(x + 0.5*width, third, width, label='3')
plt.bar(x + 1.5*width, fourth, width, label='4')
plt.ylabel('Scores')
plt.title('4 datasets')
# x轴刻度标签位置不进行计算
plt.xticks(x, labels=labels)
plt.legend()

plt.show()

总结

使用matplot绘图，先明确可视化目的。直方图可直观比较多组多个数据大小；散点图可以展示两两数据的分布相关性，以及不同数值的分布情况，也可根据值大小调整面积，加入色彩条，也可看出不同类别距离程度。

其次，熟悉可视化代码流程，导入哪些关键包，语句中哪些是必备的，如先fig绘制背景，添加不同子图，根据不同x，y选择不同数量和不同值的可视化内容，有助于更快更准确得到想要结果。

最后，matplot是工具，最重要的是根据数据可视化分析其中数据问题和可能原因，所以更重要的是对数据问题的发掘和解决方案。