在使用爬虫爬取某些网站上的数据时,面对大量且杂乱的数据我们经常不知道该怎么处理,而Python中的pandas模块能够将这些网站上的数据整合成字典的形式展现出来,运用pandas和前面我们学的matplotlib还有numpy进行组合使用能够很好地对数据进行更加直观的分析.
一.导入pandas模块
import pandas as pd
二.pandas中的内置方法功能:
1.pd.Series()
该方法用于生成一个series(系列)对象,生成的数据类型类似于字典,拥有键值对.
s1=pd.Series(np.arange(24),index=list(string.ascii_uppercase[:24]))
print(s1)
2.对数据对象的取值
print(s1["F"])#取出"F"所对应的值
print(s1[2:10:2])#取出起始下标为2至终止下标为10-1的行键值对
print(s1[[2,3,6]])#取出不连续的2,3,6行键值对
print(s1[s1>4])#取出数据对象中大于4的数据键值对
print(s1[["A","C","G"]])#分别取出”A""C""G"所对应的键值对
print(s1.values)#取出数据对象中所有键对应的值
print(s1.index)#取出数据对象中所有的键
3.pandas之loc方法
s1=pd.DataFrame(np.arange(12).reshape(3,4),index=list("abc"),columns=list("WXYZ"))
print(s1)
print("*"*100)
print(s1.loc["a","Z"])#取出a,Z所在位置的值
print("*"*100)
print(s1.loc["a",["W","Z"]])#取出a行,W,Z所在列的值
print("*"*100)
print(s1.loc[["a","c"],["X","Z"]])#取出a,c行,X,Z列的值
print("*"*100)
print(s1.loc["a":,["W","Z"]])#取出从a行开始到结束行,W,Z对应列的值
4.pandas之iloc方法
s1=pd.DataFrame(np.arange(12).reshape(3,4),index=list("abc"),columns=list("WXYZ"))
print(s1)
print("*"*100)
print(s1.iloc[1,3])#取出1,3所在位置的值
print("*"*100)
print(s1.iloc[1,[1,3]])#取出1行,1,3列的值
print("*"*100)
print(s1.iloc[1:3,1:3])#取出1,3行,2,3列的值