本期的Python学习教程接着上次的讲,接着跟大家总结工作中最常用到的Pandas函数
数据预处理
本章主要讲的是数据的预处理,对清洗完的数据进行整理以便后期的统计和分析工作。主要包括数据表的合并,排序,数值分列,数据分组及标记等工作。
1.数据表合并
在Excel中没有直接完成数据表合并的功能,可以通过VLOOKUP函数分步实现。
在Python中可以通过merge函数一次性实现。
#建立df1数据表df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008],"gender":['male','female','male','female','male','female','male','female'],"pay":['Y','N','Y','Y','N','Y','N','Y',],"m-point":[10,12,20,40,40,40,30,20]})
![386475484f98958f9271578d4fab715a.png](https://i-blog.csdnimg.cn/blog_migrate/08d085c95517a2807b0beec6f63ff716.jpeg)
使用merge函数对两个数据表进行合并,合并的方式为inner,将
两个数据表中共有的数据匹配到一起生成新的数据表。并命名为
df_inner。
#数据表匹配合并df_inner=pd.merge(df,df1,how='inner')
![b5ca043723a06ecffe752e2d8dc5f22a.png](https://i-blog.csdnimg.cn/blog_migrate/6670e14bd99c8ca3846c6f93876ef764.jpeg)
合并的方式还有left,right和outer方式
df_left=pd.merge(df,df1,how='left')df_right=pd.merge(df,df1,how='right')df_outer=pd.merge(df,df1,how='outer')
2.设置索引列
索引列可以进行数据提取,汇总,数据筛选
#设置索引列df_inner.set_index('id')
![6d6b0d7b5e1074a1551da08b460dc749.png](https://i-blog.csdnimg.cn/blog_migrate/34fe2e525899e2bee9d32ec3d3fe26d2.jpeg)
3.排序(按索引,按数值)
Excel中可以通过数据目录下的排序按钮直接对数据表进行排
序
![00d6a7461c13c5fbbbdc551a8e9b3ba5.png](https://i-blog.csdnimg.cn/blog_migrate/edd83269515aa12dd143413b5105243f.jpeg)
Python中需要使用ort_values函数和sort_index函数完成排序
#按特定列的值排序df_inner.sort_values(by=['age'])
![42731963405ef4be830f242e22d04427.png](https://i-blog.csdnimg.cn/blog_migrate/d1393a7c799d94b4c2b738ea5b41b858.jpeg)
Sort_index函数用来将数据表按索引列的值进行排序。
#按索引列排序df_inner.sort_index()
![16af01c485e2940c34f5fd73973bf5f5.png](https://i-blog.csdnimg.cn/blog_migrate/5840f59a75ec7b5e89e3b15bad4169c4.jpeg)
4.数据分组
Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组,或者使用“数据透视表”来完成分组
Python中使用Where函数用来对数据进行判断和分组
#如果price列的值>3000,group列显示high,否则显示lowdf_inner['group'] = np.where(df_inner['price'] > 3000,'high','low')
![f00183c9afaf5443bcf32dbb817d7c9f.png](https://i-blog.csdnimg.cn/blog_migrate/a5cbad5d699ace64a85af8b207a85402.jpeg)
还可以对多个字段的值进行判断后对数据进行分组,下面的代码中对city列等于beijing并且price列大于等于4000的数据标记为1。
#对复合多个条件的数据进行分组标记df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price']>= 4000), 'sign']=1
![1e0d3dc14bf1691cf8d9599e6ca51925.png](https://i-blog.csdnimg.cn/blog_migrate/9aedbbfc4fdb122bf63fdd439ab363c0.jpeg)
5.数据分列
Excel中的数据目录下提供“分列”功能。
![59c141eb95a546eaf9ca4e665ececf07.png](https://i-blog.csdnimg.cn/blog_migrate/646c4a947ad008a173310d76385df66e.jpeg)
在Python中使用split函数实现分列在数据表中category列中的数据包含有两个信息,前面的数字为类别id,后面的字母为size值。中间以连字符进行连接。我们使用split函数对这个字段进行拆分,并将拆分后的数据表匹配回原数据表中。
#对category字段的值依次进行分列,并创建数据表,索引值为df_inner的索引列,列名称为category和sizepd.DataFrame((x.split('-') for x in df_inner['category']),index=df_inner.index,columns=['category','size'])
![c38d739c1786cb9cc11e80b3ad32435a.png](https://i-blog.csdnimg.cn/blog_migrate/c1fc4999adc91ed0e6f8681107be0ff0.jpeg)
#将完成分列后的数据表与原df_inner数据表进行匹配df_inner=pd.merge(df_inner,split,right_index=True, left_index=True)
![67d492a84cb683ee9eecd55af3cb7614.png](https://i-blog.csdnimg.cn/blog_migrate/385aceb7b1af4df1157b8002f8163d95.jpeg)
数据提取
1.按标签提取(loc)
#按索引提取单行的数值df_inner.loc[3]id 1004date 2013-01-05 00:00:00city shenzhencategory 110-Cage 32price 5433gender femalem-point 40pay Ygroup highsign NaNcategory_1 110size CName: 3, dtype: object
使用冒号可以限定提取数据的范围,冒号前面为开始的标签值后面为结束的标签值。
#按索引提取区域行数值df_inner.loc[0:5]
![4476a97cd52cfa8192c58a1e55590fa5.png](https://i-blog.csdnimg.cn/blog_migrate/e8048dce1427e750f2dbd518d88c3db0.jpeg)
Reset_index函数用于恢复索引,这里我们重新将date字段的日期
设置为数据表的索引,并按日期进行数据提取。
#重设索引df_inner.reset_index()
![6346feaf9290b2e8e6f36a6455fa1eeb.png](https://i-blog.csdnimg.cn/blog_migrate/8bb8b74a4162400285a05f66b8b6f0ce.jpeg)
#设置日期为索引df_inner=df_inner.set_index('date')
![4860a2fabef08a1a62528e3c774ae855.png](https://i-blog.csdnimg.cn/blog_migrate/92abb3c5dce467956a889027c0fd4c82.jpeg)
#提取4日之前的所有数据df_inner[:'2013-01-04']
![b33133d29d8ffc25e9e12caa6cb02736.png](https://i-blog.csdnimg.cn/blog_migrate/8195300c505bfc8c36c46ef96eafd9d9.jpeg)
2.按位置提取(iloc)
使用iloc函数按位置对数据表中的数据进行提取,这里冒号前后
的数字不再是索引的标签名称,而是数据所在的位置,从0开始。
#使用iloc按位置区域提取数据df_inner.iloc[:3,:2]
![51696ad00fc17018101d18b70ee65b91.png](https://i-blog.csdnimg.cn/blog_migrate/6fb600186a5b11d6d5048b424ee5ff92.jpeg)
iloc函数除了可以按区域提取数据,还可以按位置逐条提取
#使用iloc按位置单独提取数据df_inner.iloc[[0,2,5],[4,5]]
前面方括号中的0,2,5表示数据所在行的位置,后面方括号中的数表示所在列的位置。
![2aa3359737469f0591291b30de08bb61.png](https://i-blog.csdnimg.cn/blog_migrate/3ecbf6e3408ccafa9e2873e84aab187a.jpeg)
3.按标签和位置提取(ix)
ix是loc和iloc的混合,既能按索引标签提取,也能按位置进行数
据提取.
#使用ix按索引标签和位置混合提取数据df_inner.ix[:'2013-01-03',:4]
![3cea201983c59653d41c8fe2c89eb81b.png](https://i-blog.csdnimg.cn/blog_migrate/c171bb7bf28095f9e6e3033da7068ac4.jpeg)
4.按条件提取(区域和条件值)
使用loc和isin两个函数配合使用,按指定条件对数据进行提取
#判断city列的值是否为beijingdf_inner['city'].isin(['beijing'])date2013-01-02 True2013-01-05 False2013-01-07 True2013-01-06 False2013-01-03 False2013-01-04 FalseName: city, dtype: bool
将isin函数嵌套到loc的数据提取函数中,将判断结果为Ture数据
提取出来。这里我们把判断条件改为city值是否为beijing和shanghai。如果是就把这条数据提取出来。
#先判断city列里是否包含beijing和shanghai,然后将复合条件的数据提取出来。df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])]
![cfd82746674e6ec4f6d9d775fabe6d43.png](https://i-blog.csdnimg.cn/blog_migrate/6f6bdba0bcfe4ccaeaa377c179cfa363.jpeg)
数据筛选
按条件筛选(与、或、非)
Excel数据目录下提供了“筛选”功能,用于对数据表按不同的条
件进行筛选。
![2e7b305844dbbf4c409eb1b0583d9251.png](https://i-blog.csdnimg.cn/blog_migrate/749fd21e8487c562a7b1c6a2ddcd844e.jpeg)
Python中使用loc函数配合筛选条件来完成筛选功能。配合sum和count函数还能实现Excel中sumif和countif函数的功能。
使用“与”条件进行筛选,条件是年龄大于25岁,并且城市为
beijing。
#使用“与”条件进行筛选df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']]/
![dc7bde1396116ed37e3e1b97dcbebe44.png](https://i-blog.csdnimg.cn/blog_migrate/905bc12b9e3d472c8512c2ce46bfdf89.jpeg)
#使用“或”条件筛选df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']].sort(['age'])
![f9c3fef4eb111db9ea3445a39e598da0.png](https://i-blog.csdnimg.cn/blog_migrate/d9e40a81f531646050a93a957ed321d7.jpeg)
#使用“非”条件进行筛选df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id'])
![4be8d40c64044cc31982f5b60bcb30be.png](https://i-blog.csdnimg.cn/blog_migrate/151f0da77d30444d7df411a5715268ab.jpeg)
在前面的代码后面增加city列,并使用count函数进行计数。相当于Excel中的countifs函数的功能
#对筛选后的数据按city列进行计数df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']).city.count()
还有一种筛选的方式是用query函数
#使用query函数进行筛选df_inner.query('city == ["beijing", "shanghai"]')
![da0991af92209d34080270eaa9c574d2.png](https://i-blog.csdnimg.cn/blog_migrate/8a7fca695a05cdafe9df14dbec1d671c.jpeg)
在前面的代码后增加price字段和sum函数。对筛选后的price字段
进行求和,相当于Excel中的sumifs函数的功能。
#对筛选后的结果按price进行求和df_inner.query('city == ["beijing", "shanghai"]').price.sum()12230
数据汇总
Excel中使用分类汇总和数据透视可以按特定维度对数据进行汇总,Python中使用的主要函数是groupby和pivot_table。
1.分类汇总
#对所有列进行计数汇总df_inner.groupby('city').count()/
![ddecec3a2b893e49291a6acc160d03dd.png](https://i-blog.csdnimg.cn/blog_migrate/e2013725e3884f1ac77a62b0d9697817.jpeg)
#对特定的ID列进行计数汇总df_inner.groupby('city')['id'].count()citybeijing 2guangzhou 1shanghai 2shenzhen 1Name: id, dtype: int64
#对两个字段进行汇总计数df_inner.groupby(['city','size'])['id'].count()city sizebeijing A 1F 1guangzhou A 1shanghai A 1B 1shenzhen C 1Name: id, dtype: int64
还可以对汇总后的数据同时按多个维度进行计算
#对city字段进行汇总并计算price的合计和均值。df_inner.groupby('city')['price'].agg([len,np.sum, np.mean])
![9ca71e8f0b3f1db1ce95132cbed0ef9b.png](https://i-blog.csdnimg.cn/blog_migrate/8c6f1997002bb99b5286d2227ae242f2.jpeg)
2.数据透视
![c07927548b9fa1c4d9ba85f6cb7c6726.png](https://i-blog.csdnimg.cn/blog_migrate/d5f7dc5b2dc6c2df11805f04b486ebd4.jpeg)
Python中通过pivot_table函数实现同样的效果
#设定city为行字段,size为列字段,price为值字段。分别计算price的数量和金额并且按行与列进行汇总。pd.pivot_table(df_inner,index=["city"],values=["price"],columns=["size"],aggfunc=[len,np.sum],fill_value=0,margins=True)
![3538c584cb01a259b31afa4d78e25126.png](https://i-blog.csdnimg.cn/blog_migrate/eb325664cb5df9a650247c2fa8a6f2ee.jpeg)
数据统计
1.数据采样
Excel的数据分析功能中提供了数据抽样的功能
![7482637bf1cba4f851e4196964f0da22.png](https://i-blog.csdnimg.cn/blog_migrate/516e7142f830c2304daef10c9224e3cb.jpeg)
Python通过sample函数完成数据采样
#简单的数据采样df_inner.sample(n=3)
![b0a2a210f439357ee3e71b42e3b27713.png](https://i-blog.csdnimg.cn/blog_migrate/b6b1519826316cf6ec8ac806e12bdf55.jpeg)
Weights参数是采样的权重,通过设置不同的权重可以更改采样的结果
#手动设置采样权重weights = [0, 0, 0, 0, 0.5, 0.5]df_inner.sample(n=2, weights=weights)
![9bdb00e005226d946fc271811f19038f.png](https://i-blog.csdnimg.cn/blog_migrate/1d1c852fb94b93fdff72d8f9632b114f.jpeg)
Sample函数中参数replace,用来设置采样后是否放回
#采样后不放回df_inner.sample(n=6, replace=False)#采样后放回df_inner.sample(n=6, replace=True)
2.描述统计
Python中可以通过Describe对数据进行描述统计
#数据表描述性统计df_inner.describe().round(2).T
![1c2380cd442add884d26a90a7c0bacf6.png](https://i-blog.csdnimg.cn/blog_migrate/e48cc9cc4e03adb4fe27362a1b0a27d8.jpeg)
3.相关分析
![ab93ebfa002ed3f36fe9f3ea0d581d17.png](https://i-blog.csdnimg.cn/blog_migrate/7adee0da1d404c11709a421d39753f83.jpeg)
Python中则通过corr函数完成相关分析的操作,并返回相关系数。
#相关性分析df_inner['price'].corr(df_inner['m-point'])0.77466555617085264#数据表相关性分析df_inner.corr()
![f2f3d51e780853ad7c150412f6e4d23e.png](https://i-blog.csdnimg.cn/blog_migrate/56a8693437d1582900a8b48b50ca61ab.jpeg)
数据输出
1.写入Excel
#输出到Excel格式df_inner.to_Excel('Excel_to_Python.xlsx', sheet_name='bluewhale_cc')
![d56bc760342fcc7405b8eef680bfdaed.png](https://i-blog.csdnimg.cn/blog_migrate/8750dd75de8418edb46585d371c22a0f.jpeg)
2.写入csv
#输出到CSV格式df_inner.to_csv('Excel_to_Python.csv')
这里就跟大家总结了这么多,伙伴们有补充的可以留言哈,更多的Python学习教程和Python学习小技巧也会继续为大家更新!