pandas---数学函数、离散化处理、分组聚合

1. 数学函数

方差：当数据分布比较分散（即数据在平均数附近波动较大）时，各个数据与平均数的差的平方和

较大，方差就较大；当数据分布比较集中时，各个数据与平均数的差的平方和较小。因此方差越

大，数据的波动越大；方差越小数据的波动就越小

标准差：标准差 = 方差的算术平方根

df.var()  # 方差
df.std()  # 标准差

其他的数学函数：

df.count()  # 非空的数量
df.count(axis=1)  
df.max()  # 默认求在每一列中不同行之间的最大值
df.max(axis=1) 
df.min()  # 最小值
df.min(axis=1)
df.median()  # 中位数
df.sum()  # 求和
# df.values.sum()  # 求所有元素的和
df.sum(axis=1)
df.mean() # 平均值
df.mean(axis=1)

df[1].value_counts()  # 统计元素出现次数
df.cumsum()  # 累加
df.cumprod()  # 累乘

协方差：两组数值中每对变量的偏差乘积的平均值。

协方差>0 : 表式两组变量正相关。

如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的

期望值，那么两个变量之间的协方差就是正值；     

协方差<0 : 表式两组变量负相关。

如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望

值，那么两个变量之间的协方差就是负值。

协方差=0 : 表式两组变量不相关。

df.cov()  # 协方差
df[0].cov(df[1])   # 第0列和第1列的协方差

相关系数r：相关系数 = X与Y的协方差 / (X的标准差 * Y的标准差)；

相关系数值的范围在-1和+1之间；

r＞0为正相关，r＜0为负相关。r＝0表示不相关；

r 的绝对值越大，相关程度越高。

df.corr()  # 所有特征相关系数
df.corrwith(df[2])  # 单一特征相关系数

2. 数据离散化

连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个

数。离散化方法经常作为数据挖掘的工具。

股票的涨跌幅离散化：

①先读取股票的数据，筛选出p_change数据

data = pd.read_csv("./data/stock_day.csv")
p_change= data['p_change']

②将股票涨跌幅数据进行分组

使用的工具： pd.qcut(data, q)：

对数据进行分组，一般会与value_counts搭配使用

series.value_counts()：统计分组次数

# 自行分组
qcut = pd.qcut(p_change, 10)
# 计算分到每个组数据个数
qcut.value_counts()

自定义区间分组： pd.cut(data, bins)

# 自己指定分组区间
bins = [-100, -7, -5, -3, 0, 3, 5, 7, 100]
p_counts = pd.cut(p_change, bins)

③股票涨跌幅分组数据变成one-hot编码

把每个类别生成一个布尔列，这些列中只有一列可以为这个样本取值为1.其又被称为独热编码。

pandas.get_dummies(data, prefix=None)

data:array-like, Series, or DataFrame            prefix:分组名字

# 得出one-hot编码矩阵
dummies = pd.get_dummies(p_counts, prefix="rise")

3. 分组聚合

 数据聚合通常是要使每一个数组生成一个单一的数值。

数据分类处理：

分组：先把数据分为几组

用函数处理：为不同组的数据应用不同的函数以转换数据

合并：把不同组得到的结果合并起来

数据分类处理的核心： groupby()函数

# 创建DataFrame
df = pd.DataFrame(
    {
        'color': ['green', 'green', 'yellow', 'blue', 'blue', 'yellow', 'yellow'],
        'price': [4, 5, 3, 2, 1, 7, 6]
    }
)
# 按 color 来进行分组
df.groupby(by='color')
# 结果是
<pandas.core.groupby.generic.DataFrameGroupBy object at 0x000002A252DC04F0>

使用.groups属性查看各行的分组情况：

df.groupby(by='color').groups
# 结果是
{'blue': [3, 4], 'green': [0, 1], 'yellow': [2, 5, 6]}

# 分组 + 聚合
df.groupby('color').sum()

分组+聚合例子： 

ddd = pd.DataFrame(
    data={
        "item": ["萝卜","白菜","辣椒","冬瓜","萝卜","白菜","辣椒","冬瓜"],
        'color':["白","青","红","白","青","红","白","青"],
        'weight': [10,20,10,10,30,40,50,60],
        'price': [0.99, 1.99, 2.99, 3.99, 4, 5, 6,7]
    }
)
# 对ddd进行聚合操作，求出颜色为白色的价格总和
ddd.groupby('color')['price'].sum()  # Series
ddd.groupby('color')[['price']].sum()  # DataFrame
ddd.groupby('color')[['price']].sum().loc[['白']]
# 对ddd进行聚合操作，分别求出萝卜的所有重量以及平均价格
df1 = ddd.groupby('item')[['weight']].sum()
df2 = ddd.groupby('item')[['price']].mean()
# 使用merge合并总重量及平均价格
display(df1, df2)
df1.merge(df2, left_index=True, right_index=True)