pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。
Pandas安装
安装 pandas 需要基础环境是 Python，开始前我们假定你已经安装了 Python 和 Pip。
使用 pip 安装 pandas:
进入你所在项目，直接在cmd命令行输入pip install pandas 就可以安装
查看 pandas 版本
>>> import pandas
>>> pandas.__version__ # 查看版本
'1.1.5'
实战案例
1、 构造数据集
这里为大家先构造一个数据集，用于为大家演示这20个函数。
注：本数据集中的姓名、身份证号码、电话号码等信息均为虚构。
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
print(df)
运行效果：
2、cat函数
这个函数主要用于字符串的拼接；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#把“姓名”那一列和“家庭住址”那一列用3个"-"连接起来。 sep='-'*3 就是指用3个'-'
df=df["姓名"].str.cat(df["家庭住址"],sep='-'*3)
print(df)
运行效果
3、contains函数
这个函数主要用于判断某个字符串是否包含给定字符；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#判断各行的“家庭住址”那一列的数据是不是包含“广”字
df=df["家庭住址"].str.contains("广")
print(df)
运行效果
4、startswith、endswith函数
这个函数主要用于判断某个字符串是否以…开头/结尾；
startswith函数
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
# 第一个行的“ 黄同学”是以空格开头的
# 判断每一行的“姓名”数据是不是以“黄”字开头
df=df["姓名"].str.startswith("黄")
print(df)
运行结果
endswith函数
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
# 判断每一行的“英文名”数据是不是以“e”结尾
df=df["英文名"].str.endswith("e")
print(df)
运行效果
5、 count函数
这个函数主要用于计算给定字符在字符串中出现的次数；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#统计每一行记录的“电话号码”那一列，看每个电话号码里面有多少个“3”
df=df["电话号码"].str.count("3")
print(df)
运行结果
6、get函数
这个函数主要用于获取指定位置的字符串；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#获取“姓名”数据中的最后一个字符
df=df["姓名"].str.get(-1)
print(df)
运行结果
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#把“身高”那一列的数据用“:”分割
df=df["身高"].str.split(":")
#df["身高"].str.split(":").str.get(0)
print(df)
运行效果
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#把“身高”那一列的数据用“:”分割,然后取分割后的第一个元素； 比如'mid:175_good'用":"分割后就变成了数组[mid, 175_good],然后数组的第一个元素就是mid
df=df["身高"].str.split(":").str.get(0)
print(df)
运行效果
7、len函数
这个函数主要用于计算字符串长度；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#统计每行记录中“性别”那一列数据的长度
df=df["性别"].str.len()
print(df)
运行效果
8、 upper、lower函数
这个函数主要用于英文大小写转换；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#把“英文名”的数据都变成大写的
df=df["英文名"].str.upper()
# df=df["英文名"].str.lower()
print(df)
运行效果
9、pad+side参数/center函数
这个函数主要用于在字符串的左边、右边或左右两边添加给定字符；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
df=df["家庭住址"].str.pad(10,fillchar="*") # 在左边填充*，使得家庭住址这一列的数据长度=10
#df["家庭住址"].str.pad(10,side="right",fillchar="*") # 在右边填充*，使得家庭住址这一列的数据长度=10
#df["家庭住址"].str.center(10,fillchar="*") # 左右两边填充*，使得家庭住址这一列的数据长度=10
print(df)
运行结果
10、 repeat函数
这个函数主要用于重复字符串几次；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#把"性别"那一列的数据重复3次
df=df["性别"].str.repeat(3)
print(df)
运行效果
11 、slice_replace函数
这个函数主要用于使用给定的字符串，替换指定的位置的字符；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
#把每一行的“电话号码”从第4到第8个位置的字符替换成4个*
df=df["电话号码"].str.slice_replace(4,8,"*"*4)
print(df)
运行效果
12、replace函数
这个函数主要用于将指定位置的字符，替换为给定的字符串；
这个函数还接受正则表达式，将指定位置的字符，替换为给定的字符串。
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
# 将每一行记录的“身高”数据中的“:”替换为“-”
df=df["身高"].str.replace(":","-")
print(df)
运行效果
13、split方法+expand参数
这个函数主要用于将一列扩展为好几列；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
# 把“身高”那一列的数据用“:”进行分割，比如'mid:175_good'就被分割成['mid','175_good'],然后把数组的第一个元素当成“身高描述”,第二个元素当成"final身高"
df[["身高描述","final身高"]] = df["身高"].str.split(":",expand=True)#我们还可以将拆分后的列表展开，需要使用参数expand
print(df)
运行效果
14、strip、rstrip、lstrip函数
这个函数主要用于去除空白符、换行符；
strip去除左右两边的空白字符； rstrip去除右边的空白字符；
lstrip去除左边的空白字符。
#把每一行的"姓名"数据的两边的空白字符去掉
df["姓名"] = df["姓名"].str.strip() #去除两边空白
15、 findall函数
这个函数主要用于利用正则表达式，去字符串中匹配，返回查找结果的列表；
s = pd.Series(['Lion', 'Monkey', 'Rabbit'])
搜索模式“Monkey”会返回一个匹配项：
>>> s.str.findall('Monkey')
0 []
1 [Monkey]
2 []
dtype:object
另一方面，模式“MONKEY”的搜索不返回任何匹配：
>>> s.str.findall('MONKEY')
0 []
1 []
2 []
dtype:object
可以将标志添加到模式或正则表达式中。例如，要找到忽略大小写的模式“MONKEY”：
>>> import re
>>> s.str.findall('MONKEY', flags=re.IGNORECASE)
0 []
1 [Monkey]
2 []
dtype:object
当模式匹配 Series 中的多个字符串时，返回所有匹配项：
>>> s.str.findall('on')
0 [on]
1 [on]
2 []
dtype:object
也支持正则表达式。例如，搜索以单词‘on’ 结尾的所有字符串如下所示：
>>> s.str.findall('on$')
0 [on]
1 []
2 []
dtype:object
如果在同一个字符串中多次找到该模式，则返回多个字符串的列表：
>>> s.str.findall('b')
0 []
1 []
2 [b, b]
dtype:object
16、extract、extractall函数
这个函数主要用于接受正则表达式，抽取匹配的字符串(一定要加上括号)；
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性别':['男','women','men','女','男'],
'身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
'电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
#DataFrame 构造方法如下：
df = pd.DataFrame(df) #DataFrame 是一个二维的数组结构，类似二维数组
df=df["身高"].str.extract("([a-zA-Z]+)")
# extractall提取得到复合索引
df=df["身高"].str.extractall("([a-zA-Z]+)")
# extract搭配expand参数 关于参数expand的使用：
#expand = True：返回的是DataFrame
#expand = False：返回的是Series或者Index
# 但是在实际调试中，我改成expand=False。打印出来的结果还是一样的，这就很奇怪？？？？？？
df=df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True)
print(df)
print(type(df)) #打印出df到底是dataframe还是series
运行效果
1656
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
