谈及 Pandas 的 read.xxx 系列的函数,大家的第一反应会想到比较常用的 pd.read_csv() 和 pd.read_excel(),大多数人估计没用过 pd.read_html() 这个函数。虽然它低调,但功能非常强大,用于抓取Table表格型数据时,简直是个神器。
是的,这个神器可以用来爬虫!
定 义
pd.read_html() 这个函数功能强大,无需掌握正则表达式或者 xpath 等工具,短短的几行代码就可以轻松实现抓取 Table 表格型网页数据。
原 理
一.Table 表格型数据网页结构
为了了解 Table 网页结构,我们看个简单例子。
指南者留学网
没错,简单!
另一个例子:
新浪财经网
规律:以 Table 结构展示的表格数据,网页结构长这样:
<table class="..." id="...">
<thead>
<tr>
<th>...</th>
</tr>
</thead>
<tbody>
<tr>
<td>...</td>
</tr>
<tr>...</tr>
<tr>...</tr>
...
<tr>...</tr>
<tr>...</tr>
</tbody>
</table>
Table 表格一般网页结构
二.pandas 请求表格数据原理
基本流程
其实,pd.read_html 可以将网页上的表格数据都抓取下来,并以 DataFrame 的形式装在一个 list 中返回。
三.pd.read_html 语法及参数
pandas.read\_html(io, match='.+', flavor=None,
header=None,index\_col=None,skiprows=None,
attrs=None, parse\_dates=False, thousands=', ',
encoding=None, decimal='.', converters=None, na\_values=None,
keep\_default\_na=True, displayed\_only=True)
io :接收网址、文件、字符串;
parse_dates:解析日期;
flavor:解析器;
header:标题行;
skiprows:跳过的行;
attrs:属性,比如 attrs = {‘id’: ‘table’}
实 战
一.案例1:抓取世界大学排名(1 页数据)
import pandas as pd
import csv
url1 = 'http://www.compassedu.hk/qs'
df1 = pd.read_html(url1)[0] #0表示网页中的第一个Table
df1.to_csv('世界大学综合排名.csv',index=0)
5 行代码,几秒钟就搞定,数据预览:
世界大学排行榜
二.案例 2:抓取新浪财经基金重仓股数据(6 页数据)
import pandas as pd
import csv
df2 = pd.DataFrame()
for i in range(6):
url2 = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}'.format(page=i+1)
df2 = pd.concat([df2,pd.read_html(url2)[0]])
print('第{page}页抓取完成'.format(page = i + 1))
df2.to_csv('./新浪财经数据.csv',encoding='utf-8',index=0)
8 行代码搞定,还是那么简单。
我们来预览下爬取到的数据:
基金重仓股数据
三.案例3:抓取证监会披露的 IPO 数据(217 页数据)
import pandas as pd
from pandas import DataFrame
import csv
import time
start = time.time() #计时
df3 = DataFrame(data=None,columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF资料']) #添加列名
for i in range(1,218):
url3 ='http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime'%str(i)
df3_1 = pd.read_html(url3,encoding='utf-8')[2] #必须加utf-8,否则乱码
df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1] #过滤掉最后一行和最后一列(NaN列)
df3_2.columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF资料'] #新的df添加列名
df3 = pd.concat([df3,df3_2]) #数据合并
print('第{page}页抓取完成'.format(page=i))
df3.to_csv('./上市公司IPO信息.csv', encoding='utf-8',index=0) #保存数据到csv文件
end = time.time()
print ('共抓取',len(df3),'家公司,' + '用时',round((end-start)/60,2),'分钟')
这里注意要对抓下来的 Table 数据进行过滤,主要用到 iloc 方法。另外,我还加了个程序计时,方便查看爬取速度。
2 分钟爬下 217 页 4334 条数据,相当 nice 了。我们来预览下爬取到的数据:
上市公司IPO数据
注意,并不是所有表格都可以用 pd.read_html 爬取,有的网站表面上看起来是表格,但在网页源代码中不是 table 格式,而是 list 列表格式。这种表格则不适用 read_html 爬取,得用其他的方法,比如 selenium。
爬虫这种技术,既不需要你系统地精通一门语言,也不需要多么高深的数据库技术。
我这里准备了详细的Python资料,除了为你提供一条清晰的学习路径,我甄选了最实用的学习资源以及庞大的实例库。短时间的学习,你就能够很好地掌握爬虫这个技能,获取你想得到的数据。
01 专为0基础设置,小白也能轻松学会
我们把Python的所有知识点,都穿插在了漫画里面。
在Python小课中,你可以通过漫画的方式学到知识点,难懂的专业知识瞬间变得有趣易懂。
你就像漫画的主人公一样,穿越在剧情中,通关过坎,不知不觉完成知识的学习。
02 无需自己下载安装包,提供详细安装教程
03 规划详细学习路线,提供学习视频
04 提供实战资料,更好巩固知识
05 提供面试资料以及副业资料,便于更好就业
这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要也可以扫描下方csdn官方二维码或者点击主页和文章下方的微信卡片获取领取方式,【保证100%免费】