原文链接:10个方法:用Python执行SQL、Excel常见任务
文章目录
导入数据、数据概览
导入所需要的库
import pandas as pd
import numpy as np
import requests
from bs4 import BeautifulSoup
import re
%matplotlib inline
- Panads库 处理我们的数据
- numpy库 执行数值的操作和转换
- requests库 来从网站获取HTML数据
- Python(re) 的正则表达式来更改在处理数据时可能出现的某些字符串
- %matplotlib inline 在Jupyter notebook做图时使用的,
如果不适用这句 魔法命令 图形就会另外打开一个窗口,
使用这句命令 就会让作图出现在 jupyter notebook的浏览器中
爬取数据
r = requests.get('https://en.wikipedia.org/wiki/List_of_countries_by_GDP_(nominal)_per_capita')
gdptable = r.text
soup = BeautifulSoup(gdptable, 'lxml')
table = soup.find('table', attrs = {"class" :"wikitable sortable"})
theads=[]
for tx in table.findAll('th'):
theads.append(tx.text)
data =[]
for rows in table.findAll('tr'):
row={}
i=0
for cell in rows.findAll('td'):
row[theads[i]]=re.sub('\xa0', '',cell.text)
i+=1
if len(row)!=0:
data.append(row)
print(data)
输出的结果
![](https://i-blog.csdnimg.cn/blog_migrate/32725cfdeb9e08fe244972d6e3a2ba71.png)
key-value列表
国家排名、国家的名称、人均GDP(以美元表示)
字典转换为dataframe
gdp = pd.DataFrame(data)
查看前5行
gdp.head()
![](https://i-blog.csdnimg.cn/blog_migrate/88e2354dc5039dbcbf18d5e55b2ab326.png)
替换列名
重命名列
#只修改其中一列
gdp = gdp.rename(columns = {'US$\n':'money'})
#修改多个列名
gdp.columns = ['Country','Rank','money']
gdp.head()
![](https://i-blog.csdnimg.cn/blog_migrate/ee51885a7a07bfcbd5dee3d8a945873f.png)
删除列
del gdp['Rank']
转换数据类型
#删除逗号和换行符
gdp['money'] = gdp['money'].apply(lambda x: re.sub(',','',x))
gdp['money'] = gdp['money'].apply(lambda x: re.sub('\n','',x))
#将money转换为数值型
gdp['money'] = gdp['money'].apply(pd.to_numeric)
gdp.head(3)
![](https://i-blog.csdnimg.cn/blog_migrate/57bb8f571adb71215b99c5b9c357f78d.png)
计算均值
#计算均值
gdp['money'].mean()
选择数据
#1、人均GDP大于5w
gdp5w = gdp[gdp['money'] > 50000]
#2、提取以‘S’开头的国家
gdps = gdp[gdp['Country'].str.startswith('S')]
len(gdps)#得到一共有25个国家
#3、选择以S开头的国家且人均GDP大于5w的国家
gdps5w = gdp[(gdp['money'] > 50000) & (gdp['Country'].str.startswith('S'))]
#4、现在选择人均GDP大于5w或者以S开头的国家
gdps_or_gdp5w = gdp[(gdp.money > 50000) | (gdp.Country.str.startswith('S'))]
求和
#计算人均GDP超过5万的总和
gdp5w.money.sum()
直方图
#直方图
gdp5w.money.hist()
![](https://i-blog.csdnimg.cn/blog_migrate/8b4e7e2cb1bdddececd5302daffe5204.png)
连接数据
countrycsv = pd.read_csv("D:\\data\\PythonData\\Country.csv")
df = pd.merge(gdp,countrycsv,how = 'inner',left_on = 'Country',right_on = 'TableName')
countrycsv.head()
![](https://i-blog.csdnimg.cn/blog_migrate/523dfb0aecfd5492219c67242694613a.png)
groupby分组
#将国家和人均GDP按其所在地区进行分组
gdpregion = df.groupby(['Region']).mean()
gdpregion
![](https://i-blog.csdnimg.cn/blog_migrate/7822938ad22c99f7673dc18172430305.png)
因为groupby操作创建的是一个可被操作的临时对象,不会创建永久接口来构建聚合结果,因此我们使用pivot_table透视表进行分组
pivot_table透视表
gdppivot = df.pivot_table(index = ['Region'], margins = True, aggfunc = np.mean)
gdppivot
删除不需要的列
gdppivot.drop({'LatestIndustrialData','LatestTradeData','LatestWaterWithdrawalData'},axis = 1, inplace = True)
gdppivot
![](https://i-blog.csdnimg.cn/blog_migrate/f2ddd93342d0513c5e87a9efa63f68fc.png)
拓展部分:pandas.merge
原文链接:[Python3]pandas.merge用法详解
参数列表
merge函数的参数
![](https://i-blog.csdnimg.cn/blog_migrate/0fa5d67f9e6401492fe0b58a0fa7958e.png)
连接方法
pd.merge()方法
创建两个DataFrame
inner(内连接):连接两边都有的值
outer(外连接):左连接和右连接的并集,左侧DataFrame取全部数据,右侧DataFrame匹配左侧DataFrame并用NaN填充缺失值。
默认下是inner连接,即inner 代表交集;outer 代表并集;left 和 right 分别为取一边。
#创建DataFrame
df1 = pd.DataFrame({'key':list('bbaca'),'data1':range(5)})
df1
df2 = pd.DataFrame({'key':['a','b','d'],'data2':range(3)})
df2
![](https://i-blog.csdnimg.cn/blog_migrate/abfc77fb85e98665a359ca2838edfd43.png)
#内连接
pd.merge(df1,df2)#缺省参数how时是内连接inner,并按照相同的字段key进行合并,推荐使用下面这种方式
#pd.merge(df1,df2,on = 'key')
![](https://i-blog.csdnimg.cn/blog_migrate/a5eaf0ac1824f52678486e6a0451696e.png)
#外连接
pd.merge(df1,df2,how = 'outer')
![](https://i-blog.csdnimg.cn/blog_migrate/55b27440ab843201d36381d93d6b99b4.png)
#左连接
pd.merge(df1,df2,how = 'left')
![](https://i-blog.csdnimg.cn/blog_migrate/4f47e079472370624640a7b3a4ee63c3.png)
#右连接
pd.merge(df1,df2,how = 'right')
![](https://i-blog.csdnimg.cn/blog_migrate/e6bc1cf753568fb94a05d15092b51eb0.png)
pd.merge()索引连接
#索引
#df1使用data1当做连接关键字,df2使用索引当做连接关键字
pd.merge(df1,df2,left_on = 'data1',right_index = True)
![](https://i-blog.csdnimg.cn/blog_migrate/92e2eaf70bb09399c895da49bbf79916.png)
上面可以发现两个DataFrame中都有key列,merge合并之后,pandas会字段在后面加上(_x,_y)。我们可以使用suffixes进行设置。
pd.merge(df1,df2,left_on = 'data1',right_index = True,suffixes = ('_df1','_df2'))
suffixes=(‘_x’,’_y’) 指的是当左右对象中存在除连接键外的同名列时,结果的区分方式,可以各加一个小尾巴。
![](https://i-blog.csdnimg.cn/blog_migrate/d2c99dc92601187d3450314ecba6cdf8.png)