【带你快速了解人工智能开发Pandas基础课程第六周】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

#博学谷IT学习技术支持#

一、Dataframe的分组聚合运算

import pandas as pd
#%%
gapminder = pd.read_csv('/root/data/gapminder.tsv',sep='\t')
gapminder.head()
#%%
#每一年的平均预期寿命是多少？每一年的平均人口和平均GDP是多少？
gapminder.groupby('year')['lifeExp','pop','gdpPercap'].mean()
#%%
#如果我们按照大洲来计算，每年每个大洲的平均预期寿命，平均人口，平均GDP情况又如何？
gapminder.groupby(['continent','year'])['lifeExp','pop','gdpPercap'].mean()
#%%
gapminder.groupby(['continent','year'])[['lifeExp','pop','gdpPercap']].mean()
#%%
#在数据中，每个大洲列出了多少个国家和地区？
gapminder.groupby(['continent'])['lifeExp','pop','gdpPercap'].mean()
#%%
#在数据中，每个大洲列出了多少个国家和地区？
gapminder.groupby('continent')['country'].nunique()

分组频数计算

# 可以使用 *nunique* 方法 计算Pandas Series的唯一值计数 (去重计数)
gapminder.groupby('continent')['country'].nunique()
#%%
#可以使用 *value_counts* 方法来获取Pandas Series 的频数统计
#计数并没有去重
# 1 对调用value_counts的列进行分组
# 2 统计每个分组的数量
# 3 按照统计的结果进行降序排序
#%%
gapminder.value_counts('continent')
#%%
## 简单绘图
#%%
global_yearly_life_expectancy = gapminder.groupby('year')['lifeExp'].mean()
print(global_yearly_life_expectancy)
#%%
global_yearly_life_expectancy.plot()
#%%

二、DatamFrame常用统计值以及排序方法

代码如下（示例）：

college.columns#查看列数
college.describe().T#统计数值列，并进行转置
college.describe(include='all') # 统计所有的列 包括数值列和类别类型 字符串类型
college.describe(include=object) # 类别类型 字符串类型
college.info()

常用排序方法

#用nlargest方法，选出imdb_score分数最高的100个
movie2.nlargest(100,'imdb_score').head()
#使用nsmallest方法再从中挑出预算最小的五部
movie2.nlargest(100,'imdb_score').nsmallest(5,'budget')#budget预算 imdb_score评分
## 通过排序选取每组的最大值——找到每年imdb评分最高的电影
#sort_values 按照年排序，ascending 降序排列(从大到小)
movie2 = movie[['movie_title','title_year','imdb_score']]
movie2.sort_values(['title_year'],ascending=False).head()#对年分组排序 并升序排列
#同时对'title_year','imdb_score' 两列进行排序
movie3 = movie2.sort_values(['title_year','imdb_score'], ascending=False)
movie3.head()#按照年份和评分排序 升序排列
#用 drop_duplicates 去重，只保留每年的第一条数据
movie3_drop_duplicates = movie3.drop_duplicates(subset='title_year')
movie3_drop_duplicates
## 提取出每年，每种电影分级中预算少的电影——sort_values多列排序
movie4 = movie[['movie_title', 'title_year', 'content_rating', 'budget']]
movie4
movie4_sorted = movie4.sort_values(['title_year','content_rating','budget'],ascending=[False,False,True])
movie4_sorted#按照年份 类目 预算 并限定
movie4_sorted.drop_duplicates(subset=['title_year','content_rating'])
movie4_sorted.nunique()

三、DatamFrame的数据分析案例(租房数据)

代码如下（示例）：

import pandas as pd
house_data = pd.read_csv('/root/data/LJdata.csv')
house_data.head()
house_data.shape
house_data.info()
house_data.describe()
house_data.dtypes
#找到租金最低，和租金最高的房子
house_data.sort_values(['价格'],ascending=False).head(1)
house_data.sort_values(['价格'],ascending=True).head(1)
#找到最近新上的10套房源
house_data.sort_values(['更新时间'],ascending=False).head(10)
house_data.sort_values(by='更新时间', ascending=False).head(10)
#查看所有更新时间
house_data['更新时间'].unique()
house_data.head()
# 不同看房人数的房源数量，as_index = False 分组字段不作为行索引（默认为True)
tmp_df = house_data.groupby('看房人数',as_index= False)[['区域']].count()
tmp_df.columns = ['看房人数', '房源数量']
tmp_df.head()
#画图 %matplotlib inline 功能是在jupyter notebook中内嵌绘图，并且可以省略掉 plt.show()
%matplotlib inline
tmp_df['房源数量'].plot(kind='bar',figsize=(20,10))
house_data
#看房人数最多的朝向
tmp_df = house_data.groupby('朝向',as_index= False)[['看房人数']].sum()
tmp_df.columns = ['朝向', '看房人数']
tmp_df[tmp_df['看房人数']==tmp_df['看房人数'].max()]
#房型分布情况
house_type_dis = house_data.groupby(['户型']).count()
%matplotlib inline
house_type_dis['区域'].plot(kind='bar') #柱状图
house_type_dis
house_data.head()
#最受欢迎的房型
house_data.head()
house_data1 = house_data.groupby(['户型'])[['看房人数']].sum()
house_data1.sort_values('看房人数', ascending=False).head(1)
house_data1
#房子的平均租房价格 （元/平米）
house_data['价格'].mean()
#热门小区
house_data1 = house_data[['地址','看房人数']].groupby(['地址'],as_index=False)[['看房人数']].sum()
house_data1.sort_values('看房人数', ascending=False).head()
#出租房源最多的小区
house_data.head()
house_data1 =house_data[['区域','地址']].groupby(['地址'])[['区域']].count()
house_data1.sort_values('区域',ascending=False).head(1)
tmp_df2 = house_data[['区域','地址']].groupby(['地址'],as_index=False).count()
tmp_df2.columns =  ['地址','count']
tmp_df2.nlargest(columns='count', n=1)

---

总结

以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。学习不等于学会 沉下心