![2cea994cbfb3b528708fd5bcb787eece.png](https://i-blog.csdnimg.cn/blog_migrate/f25470e71fa86a55f50b6cbb97f4d6ee.jpeg)
作者 | 刘顺祥
来源 | 数据分析1480
这一期将分享我认为比较常规的100个实用函数,这些函数大致可以分为六类,分别是统计汇总函数、数据清洗函数、数据筛选、绘图与元素级运算函数、时间序列函数和其他函数。
统计汇总函数
数据分析过程中,必然要做一些数据的统计汇总工作,那么对于这一块的数据运算有哪些可用的函数可以帮助到我们呢?具体看如下几张表。
![6a8941f95609fc8bdb34896e4c37d1b2.png](https://i-blog.csdnimg.cn/blog_migrate/3095e65dd76b04fd8b6714e258b69cc0.jpeg)
![82d9035e65807e9e091b30e365b45423.png](https://i-blog.csdnimg.cn/blog_migrate/fea5769386263b8c1c417202bc71019e.jpeg)
import pandas as pdimport numpy as npx = pd.Series(np.random.normal(2,3,1000))y = 3*x + 10 + pd.Series(np.random.normal(1,2,1000))# 计算x与y的相关系数print(x.corr(y))# 计算y的偏度print(y.skew())# 计算y的统计描述值print(x.describe())z = pd.Series(['A','B','C']).sample(n = 1000, replace = True)# 重新修改z的行索引z.index = range(1000)# 按照z分组,统计y的组内平均值y.groupby(by = z).aggregate(np.mean)
![946df5a1bfccd2b5aa89b60edcd1c549.png](https://i-blog.csdnimg.cn/blog_migrate/c54cbd92adc5e19fd6f07ac3c82377ac.jpeg)
![6e690789661a83ae768d3c31aefaad11.png](https://i-blog.csdnimg.cn/blog_migrate/b245791697adc1e5f5e7c34c0ed86c33.jpeg)
# 统计z中个元素的频次print(z.value_counts())a = pd.Series([1,5,10,15,25,30])# 计算a中各元素的累计百分比print(a.cumsum() / a.cumsum()[a.size - 1])
![3a2b83b4c0565c4c5743ba7ffb865fba.png](https://i-blog.csdnimg.cn/blog_migrate/4cdb8e0dccaf542259fa5f17c145a51e.jpeg)
数据清洗函数
同样,数据清洗工作也是必不可少的工作,在如下表格中罗列了常有的数据清洗的函数。
![42a3bd5cad56f688951b387e2ca13382.png](https://i-blog.csdnimg.cn/blog_migrate/3f29e29014c649f78d83b4f206545d1f.jpeg)
x = pd.Series([10,13,np.nan,17,28,19,33,np.nan,27])#检验序列中是否存在缺失值print(x.hasnans)# 将缺失值填充为平均值print(x.fillna(value = x.mean()))# 前向填充缺失值print(x.ffill())
![f4f71079702fcb22b162cfbd1946a0a3.png](https://i-blog.csdnimg.cn/blog_migrate/9ad91afaff5c85d131b99494ad08e8db.jpeg)
![7e5739f4f3e3090c7c55092043209b05.png](https://i-blog.csdnimg.cn/blog_migrate/83e47f4defcc7ddb72b55260aff45cdd.jpeg)
income = pd.Series(['12500元','8000元','8500元','15000元','9000元'])# 将收入转换为整型print(income.str[:-1].astype(int))gender = pd.Series(['男','女','女','女','男','女'])# 性别因子化处理print(gender.factorize())house = pd.Series(['大宁金茂府 | 3室2厅 | 158.32平米 | 南 | 精装', '昌里花园 | 2室2厅 | 104.73平米 | 南 | 精装', '纺大小区 | 3室1厅 | 68.38平米 | 南 | 简装'])# 取出二手房的面积,并转换为浮点型house.str.split('|').str[2].str.strip().str[:-2].astype(float)
![3f72d4f4d34ffce24a5fafbad6aadf5e.png](https://i-blog.csdnimg.cn/blog_migrate/7caf4d0eab51bf5aa82c9703f789e89d.jpeg)
数据筛选
数据分析中如需对变量中的数值做子集筛选时,可以巧妙的使用下表中的几个函数,其中部分函数既可以使用在序列身上,也基本可以使用在数据框对象中。
![69656d7f4c68d52fe10d05b9e703320c.png](https://i-blog.csdnimg.cn/blog_migrate/ae2ff40a260a0dcf85cdc091d2784956.jpeg)
np.random.seed(1234)x = pd.Series(np.random.randint(10,20,10))# 筛选出16以上的元素print(x.loc[x > 16])print(x.compress(x > 16))# 筛选出13~16之间的元素print(x[x.between(13,16)])# 取出最大的三个元素print(x.nlargest(3))y = pd.Series(['ID:1 name:张三 age:24 income:13500', 'ID:2 name:李四 age:27 income:25000', 'ID:3 name:王二 age:21 income:8000'])# 取出年龄,并转换为整数print(y.str.findall('age:(d+)').str[0].astype(int))
![21ae923ffe6b0a6df372f5da20cd71fd.png](https://i-blog.csdnimg.cn/blog_migrate/299736801681c3d006c8fe9eedb397d3.jpeg)
绘图与元素级函数
![19e77fa1bdd92c0a7e9e445ea5a25c22.png](https://i-blog.csdnimg.cn/blog_migrate/5a03550d27d2ace783f8c2ccdcbd3b12.jpeg)
np.random.seed(123)import matplotlib.pyplot as pltx = pd.Series(np.random.normal(10,3,1000))# 绘制x直方图x.hist()# 显示图形plt.show()# 绘制x的箱线图x.plot(kind='box')plt.show()installs = pd.Series(['1280万','6.7亿','2488万','1892万','9877','9877万','1.2亿'])# 将安装量统一更改为“万”的单位def transform(x): if x.find('亿') != -1: res = float(x[:-1])*10000 elif x.find('万') != -1: res = float(x[:-1]) else: res = float(x)/10000 return resinstalls.apply(transform)
![e440c451d4e0f02b41c5ef7814c5cfd7.png](https://i-blog.csdnimg.cn/blog_migrate/13a7ab46cf8298f5c857b80e84653f14.jpeg)
![0e6fca7847a6eb31654128312e15fe58.png](https://i-blog.csdnimg.cn/blog_migrate/3143f9c5fe25166b05b9300447b42869.jpeg)
![3f2664570c834d48ef37d429d0be8d9e.png](https://i-blog.csdnimg.cn/blog_migrate/ce5b90e4a746c15b26c85cd11ff958b6.jpeg)
时间序列函数
![346f2ed479a314e6c3ecc7d85929c395.png](https://i-blog.csdnimg.cn/blog_migrate/4f7f681d3e4b2e2079f805324647ec05.jpeg)
![86aa43cac0f0fa65d80705387ea70735.png](https://i-blog.csdnimg.cn/blog_migrate/f85abf0ebf390d03cf45e6558ee6461b.jpeg)
![4dfd873bb07f8a045f32e73bfa04be57.png](https://i-blog.csdnimg.cn/blog_migrate/005232a82dbba730932b57fe63eb1740.jpeg)
其他函数
![df8424767e555e4b141f6f51cdc37d4d.png](https://i-blog.csdnimg.cn/blog_migrate/07392a92d7b61c9cb546351be84fb690.jpeg)
import numpy as npimport pandas as pdnp.random.seed(112)x = pd.Series(np.random.randint(8,18,6))print(x)# 对x中的元素做一阶差分print(x.diff())# 对x中的元素做降序处理print(x.sort_values(ascending = False))y = pd.Series(np.random.randint(8,16,100))# 将y中的元素做排重处理,并转换为列表对象y.unique().tolist()
![12c13f954cc890eb97e481735ddec819.png](https://i-blog.csdnimg.cn/blog_migrate/f676f0a4c3ea87296d8ca3c7ba80b4a0.jpeg)
![6e0d2f3514ff9a69badb3b04c1bbbaea.png](https://i-blog.csdnimg.cn/blog_migrate/97915531809f169a6c6b25baa5a0f146.jpeg)
搜索进入我们的CDA小程序,解锁更多新鲜资讯和优质内容,还有很多专业课程和试听课,不要错过哟!
![d05f8f685ef90c631ae8c4197e703853.png](https://i-blog.csdnimg.cn/blog_migrate/8ea8f9cc99ca1398763c266fd9a91558.jpeg)