本文转载自:https://www.makcyun.top/web_scraping_withpython2.html
需要学习的地方:
(1)read_html的用法
作用:快速获取在html中页面中table格式的数据
(2)to_sql的用法
将获得的DataFrame数据写入数据表中
(3)使用urlencode构造所需的url参数
摘要: 我们平常在浏览网页中会遇到一些表格型的数据信息,除了表格本身体现的内容以外,你可能想透过表格再更进一步地进行汇总、筛选、处理分析等操作从而得到更多有价值的信息,这时可用python爬虫来实现。本文采用pandas库中的read_html方法来快速准确地抓取表格数据。
本文知识点:
- Table型表格抓取
- DataFrame.read_html函数使用
- 爬虫数据存储到mysql数据库
- Navicat数据库的使用
1. table型表格
我们在网页上会经常看到这样一些表格,比如:
QS2018世界大学排名:
他们除了都是表格以外,还一个共同点就是当你点击右键-定位时,可以看到他们都是table类型的表格形式。
从中可以看到table类型的表格网页结构大致如下:
<table class="..." id="..."> |
先来简单解释一下上文出现的几种标签含义:
<table> : 定义表格 |
这样的表格数据,就可以利用pandas模块里的read_html函数方便快捷地抓取下来。下面我们就来操作一下。
2. 快速抓取
下面以中国上市公司信息这个网页中的表格为例,感受一下read_html函数的强大之处。
import pandas as pd |
只需不到十行代码,1分钟左右就可以将全部178页共3536家A股上市公司的信息干净整齐地抓取下来。比采用正则表达式、xpath这类常规方法要省心省力地多。如果采取人工一页页地复制粘贴到excel中,就得操作到猴年马月去了。
上述代码除了能爬上市公司表格以外,其他几个网页的表格都可以爬,只需做简单的修改即可。因此,可作为一个简单通用的代码模板。但是,为了让代码更健壮更通用一些,接下来,以爬取177页的A股上市公司信息为目标,讲解一下详细的代码实现步骤。
3. 详细代码实现
3.1. read_html函数
先来了解一下read_html函数的api:
pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, tupleize_cols=None, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True) |
参考:
1 http://pandas.pydata.org/pandas-docs/stable/io.html#io-read-html
2 http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_html.html
3.2. 分析网页url
首先,观察一下中商情报网第1页和第2页的网址:
http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=1#QueryCondition |
可以发现,只有pageNum的值随着翻页而变化,所以基本可以断定pageNum=1代表第1页,pageNum=10代表第10页,以此类推。这样比较容易用for循环构造爬取的网址。
试着把#QueryCondition删除,看网页是否同样能够打开,经尝试发现网页依然能正常打开,因此在构造url时,可以使用这样的格式:
http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=i
再注意一下其他参数:
a:表示A股,把a替换为h,表示港股;把a替换为xsb,则表示新三板。那么,在网址分页for循环外部再加一个for循环,就可以爬取这三个股市的股票了。
3.3. 定义函数
将整个爬取分为网页提取、内容解析、数据存储等步骤,依次建立相应的函数。
# 网页提取函数 |
上面两个函数相比于快速抓取的方法代码要多一些,如果需要抓的表格很少或只需要抓一次,那么推荐快速抓取法。如果页数比较多,这种方法就更保险一些。解析函数用了BeautifulSoup和css选择器,这种方法定位提取表格所在的id为#myTable04的table代码段,更为准确。
3.4. 存储到MySQL
接下来,我们可以将结果保存到本地csv文件,也可以保存到MySQL数据库中。这里为了练习一下MySQL,因此选择保存到MySQL中。
首先,需要先在数据库建立存放数据的表格,这里命名为listed_company。代码如下:
import pymysql |
上述代码定义了generate_mysql()函数,用于在MySQL中wade数据库下生成一个listed_company的表。表格包含15个列字段。根据每列字段的属性,分别设置为INT整形(长度为30)、VARCHAR字符型(长度为30) 、DATETIME(0) 日期型等。
在Navicat中查看建立好之后的表格:
接下来就可以往这个表中写入数据,代码如下:
import pymysql |
以上就完成了单个页面的表格爬取和存储工作,接下来只要在main()函数进行for循环,就可以完成所有总共178页表格的爬取和存储,完整代码如下:
import requests |
最终,A股所有3535家企业的信息已经爬取到mysql中,如下图:
最后,需说明不是所有表格都可以用这种方法爬取,比如这个网站中的表格,表面是看起来是表格,但在html中不是前面的table格式,而是list列表格式。这种表格则不适用read_html爬取。得用其他的方法,比如selenium,以后再进行介绍。
本文完。