应急管理部网站爬取重特大事故督办信息并进行数据清洗
手动反爬虫： 原博地址
知识梳理不易，请尊重劳动成果，文章仅发布在CSDN网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息
如若转载，请标明出处，谢谢
引言
想要找一些数据，然后翻到了应急管理部的网站了，接着就是查看一下里面的公开信息，其中有个板块是“事故查处”，默认列出“事故挂牌督办情况”的信息，共有30页，翻开一下，发现里面有着每起事故的通告，如下。于是就有了爬爬看的想法
1 Robots协议
爬虫之前，对于政府网站，还是要尊重一下是否有相关的爬虫协议，这里就是以“应急管理网”首页和数据所在的页面查看robots协议，搜索结果如下，可以发现并没有设置相关的反爬规定，爬取的数据一共只有448条，并不会造成大量的网络冲击，那么接下来就开始一步步爬虫测试
2 网站请求初试
还是直接使用爬虫框架来进行网页请求的试错，看看是否能够返回自己想要的数据，代码如下（注意headers里面的内容根据自己浏览器返回的内容填写）
import requests
import time
import re
import os
import pandas as pd
from bs4 import BeautifulSoup
def get_url():
pass
def get_data():
pass
def get_contents():
pass
if __name__ == '__main__':
url = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
'Referer': 'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml',
'Cookie': 'e50c=1602040171,1603518059,1603883178; Hm_lpvt_7c3492d683dc7a90fd44bf8bfd57e50c=1603883919'}
html = requests.get(url,headers=headers)
html.encoding = html.apparent_encoding
print(html.text)
输出结果为：（通过请求试探，发现可以得到我们需要的数据，那么接下来就填写函数中的内容就可以了）
3 外层信息的获取
3.1 网页规律查找
如果要想获得448条数据，那么数据分散在30个网页上，就需要依次遍历找到所有页面对应的网址。获取外层信息就是指获取包含数据的翻页网址的url信息，还是熟悉的步骤，先找几页网址的url看看规律，比如这里查找第1,2,3,4页，网址如下：
u1 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/'
u2 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_1.shtml'
u3 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_2.shtml'
u4 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_3.shtml'
显然这个第2页往后url都是有规律的，按照之前的经验，是不是第一页的也是可以使用相同的规律呢（也就是添加后缀index_0.shtml），于是就可以测试一下，将第一个网址改成相同规律的网址再次进行请求，请求结果如下：（说明这次的第一个网页并不支持以往的规律，因此就需要单独进行处理）
3.2 完善获取url的函数
模板中的第一个函数就是用来获取所有的url，然后将包含全部信息的url都放置在列表中返回，既然第一页不支持普遍的规律，就单独赋予列表变量，然后再处理接下来的网页url，代码如下：
def get_url():
urllst = []
urllst.append('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml')
urllst.extend([f'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_{i}.shtml' for i in range(1,30)])
return urllst
输出结果为：（一共30页，最后的urllst列表中也有20个元素，与网页的url相对应）
3.3 请求外层信息
这时候就以获取第一页中的信息为例，直接在页面中右键进入源代码界面，找到页面中想要爬取内容所在的位置，推荐的方式就是复制网页的内容，然后再打开源代码界面后按住ctrl + f快捷键调出查找选框，然后把复制的结果输入到查找选框中，就可以自动定位到元素位置，如下:
那么通过定位元素发现，可以获得的信息有通告的时间、具体的标题名称还有这个通告的具体的详情网址链接。关于标题和时间都是很好提取，但是关于具体的url链接却有一定的难度，比如截图中一共5条数据中，就有3中不同的网址格式且都缺少前缀，然后把这三种不同链接打开后对应的具体的网址如下，而剩下的链接也都是属于这三类（下面打开的是第1,2,4条链接，网址直接复制在浏览器上均可正常打开）
href1 = 'http://www.mem.gov.cn/gk/tzgg/202006/t20200617_353972.shtml'
href2 = 'http://www.mem.gov.cn/gk/tzgg/tz/202001/t20200103_343066.shtml'
href3 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/2019_gpdb/201912/t20191216_342337.shtml'
因此这里就需要单独封装一个函数，来处理url链接的问题，为了保证获取数据的同步性，先将所有的url链接都使用一个变量名代替，之后另外封装一个函数，传递这个变量返回处理后具体的url链接，代码如下
def get_data(url):
html = requests.get(url,headers = headers)
html.encoding = html.apparent_encoding
pattern = re.compile(r'<a href="(.*?)" title="" target="_blank" >(.*?)<span>(.*?)</span></a>')
infos = re.findall(pattern,html.text)
data_ls = []
for info in infos:
dic = {}
dic['tilte'] = info[1]
dic['time'] = info[2]
url_ = info[0]
detail_url = filter_url(url_) #这里直接把简化的url传递到函数中进行处理
dic['detail_url'] = detail_url #最后获得的就是详细的url地址了
dic['contents'] = get_contents(detail_url)
data_ls.append(dic)
return data_ls
获得详细url地址后就可以进入内层的网页中获取通告的具体内容了，如下界面所示，获取具体内容的方式也是同理，由于上一步通过函数返回了具体的detail_url，那么使用这个detail_url传入获取内容的函数就能够获取想要的内容了
4 内层数据获取
4.1 封装获取具体url链接的函数
上面已经使用了filter_url(url_)，那么接下来完善这个函数中的内容即可。代码如下：
def filter_url(url_):
if '..' in url_:
base_path = url_.split('./')[-1]
detail_url = os.path.join('https://www.mem.gov.cn/gk/',base_path)
else:
base_path = url_.split('./')[-1]
detail_url = os.path.join('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/',base_path)
return detail_url
代码解析：可以发现有三种url链接的形式，那么就一一进行击破，首先第一类的url链接中包含的是有’…‘的，那么进行存在与否判断就可以提取到这类url链接；第二类和第三类在尝试的过程中发现使用’./'进行切分时候这两类的url链接就直接获取了，因此也就实现了完整url的获取，最后返回detail_url，作为具体内容获取的依据
4.2 封装获取具体内容的函数
上面使用的是 get_contents(detail_url)函数，这里直接在函数中填写内容即可，主要是请求页面和找寻目标数据的过程。但是这里发现有一个问题，就是如果直接在源代码网页中进行数据的正则匹配，难度有点大，所以就采用了bs4解析界面后在用正则进行数据的提取，同时剔除掉无关的数据，获取到相对干净的数据，代码如下
def get_contents(detail_url):
html = requests.get(detail_url,headers = headers)
html.encoding = html.apparent_encoding
soup = BeautifulSoup(html.text,'lxml')
contents = soup.find('div', class_="zhenwen_neir").text
contents = re.sub(r'\s+','',contents) #这一步替换掉一些符号
contents = re.sub(r"jQuery.*?打开当前页面",",",contents) #这一步是把最后面的二维码信息给替换掉
return contents
4.3 启动爬虫
还是习惯的方式，先用urllst里面的第一个网页进行数据的尝试获取
urllst = get_urls()
for url in urllst[:1]:
print(get_data(url))
输出结果为：（试错无误后，就可以进行全部网页数据的爬取了，为了防止报错，建议使用随机时间处理和异常报错处理）
4.4 最后异常处理
前面已经完成了对第一页数据的获取，那么接下来就可以实现全部的数据的获取，代码如下
urllst = get_urls()
success_ls = []
error_ls = []
print('正在爬取........\n')
for u in urllst:
print(u)
try:
success_ls.extend(get_data(u))
print('已经爬取{}条数据'.format(len(success_ls)))
time.sleep(3)
print('爬累了，休息3秒吧......')
except Exception as e:
print('爬取失败，目标网址为：',u)
error_ls.append(u)
df = pd.DataFrame(success_ls)
df.to_excel('挂牌督办详情.xlsx',index = False)
输出结果为：（最后的全部的数据都获取成功）
5 数据清洗
这一步在爬虫的时候也进行了相关的操作，比如网页中最后二维码的清除和特殊字符，主要是因为这类数据清洗比较方便，就在爬取数据的时候顺带解决了，那么接下来就是要获取文章中具体的事故名称，如下
关于复杂信息的提取，最好的方式（个人觉得）还是在爬取全部数据之后进行提取，这样方便即时调整提取策略，不然在爬虫的时候进行提取就会每测试一次策略就进行一次爬虫，结果会大大的占用程序的运行时间，所以还是建议复杂字段数据的处理放在爬虫后面，这样可以提高程序的运行效率和任务的成功率。代码如下，具体的思路就是找到共同点，发现几乎所有的网页公布的信息中都有“对…事故进行…”字样，故就可依此进行查找，如果匹配成功就进行数据提取，不成功就用空值替代，最后把前面的代词给替换掉就可以实现事故名称的提取，完成数据清洗。
import pandas as pd
import re
import numpy as np
def f(s):
x = re.search(r'对(.*?事故)', s)
if x:
s = x.group(1)
else:
s = np.nan
return s
data = pd.read_excel('挂牌督办详情.xlsx')
data['name'] = data.contents.map(f)
data['name'] = data['name'].str.replace(r'[你省|你区|你市]','')
data.to_excel('filter_1.xlsx',index = False)
数据清洗的过程就是找规律的过程，还有就是对于正则提取文字能力的考验，针对于获取结果的不同设定不同的提取规则。
6 全部代码
6.1爬虫代码
（注意自己设置headers）
import requests
import time
import re
import os
import pandas as pd
from bs4 import BeautifulSoup
def get_urls():
urllst = []
urllst.append('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml')
urllst.extend([f'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_{i}.shtml' for i in range(1,30)])
return urllst
def get_data(url):
html = requests.get(url,headers = headers)
html.encoding = html.apparent_encoding
pattern = re.compile(r'<a href="(.*?)" title="" target="_blank" >(.*?)<span>(.*?)</span></a>')
infos = re.findall(pattern,html.text)
data_ls = []
for info in infos:
dic = {}
dic['tilte'] = info[1]
dic['time'] = info[2]
url_ = info[0]
detail_url = filter_url(url_)
dic['detail_url'] = detail_url
dic['contents'] = get_contents(detail_url)
data_ls.append(dic)
return data_ls
def filter_url(url_):
if '..' in url_:
base_path = url_.split('./')[-1]
detail_url = os.path.join('https://www.mem.gov.cn/gk/',base_path)
else:
base_path = url_.split('./')[-1]
detail_url = os.path.join('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/',base_path)
return detail_url
def get_contents(detail_url):
html = requests.get(detail_url,headers = headers)
html.encoding = html.apparent_encoding
soup = BeautifulSoup(html.text,'lxml')
contents = soup.find('div', class_="zhenwen_neir").text
contents = re.sub(r'\s+','',contents)
contents = re.sub(r"jQuery.*?打开当前页面",",",contents)
return contents
if __name__ == '__main__':
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
'Referer': 'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml',
'Cookie': '1602040171,1603518059,1603883178; Hm_lpvt_7c3492d683dc7a90fd44bf8bfd57e50c=1603883919'}
urllst = get_urls()
success_ls = []
error_ls = []
print('正在爬取........\n')
for u in urllst:
print(u)
try:
success_ls.extend(get_data(u))
print('已经爬取{}条数据'.format(len(success_ls)))
time.sleep(3)
print('爬累了，休息3秒吧......')
except Exception as e:
print('爬取失败，目标网址为：',u)
error_ls.append(u)
df = pd.DataFrame(success_ls)
df.to_excel('挂牌督办详情34.xlsx',index = False)
执行结果如下，进行前两页数据的爬取展示
6.2 数据清洗代码
import pandas as pd
import re
import numpy as np
def f(s):
x = re.search(r'对(.*?事故)', s)
if x:
s = x.group(1)
else:
s = np.nan
return s
data = pd.read_excel('挂牌督办详情.xlsx')
data['name'] = data.contents.map(f)
data['name'] = data['name'].str.replace(r'[你省|你区|你市]','')
data.to_excel('filter_1.xlsx',index = False)
输出结果为：（几乎全部进行提取出来，只有三条未成功）
扫一扫
2369
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
