1. 引言
作为一只土木狗,从进入大学的那一天起就开始和各种各样的规范打交道,不管是混凝土、钢结构、砌体结构规范,还是抗震、基础、荷载、高层规范,可以这么说,整个大学基本就是在学各个规范的原理性知识。工作以后,但凡是从事规划、设计、施工等工作更是离不开这些规范。今天给大家带来一个案例,用python爬取建标库网站的规范信息,并保存到本地,下面跟随我一起来实践吧。
2. 分析页面
进入建标库网站,我们找到“国家规范>建筑专业”版块,url链接(http://www.jianbiaoku.com/webarbs/list/117/1.shtml),打开页面,如图所示,可以看到,一共有42页内容,每页的规范数量大概有30个。
我们点击到第2页,可以看到网址变成了http://www.jianbiaoku.com/webarbs/list/117/2.shtml,如图所示。
因此只需要改变http://www.jianbiaoku.com/webarbs/list/117/{}.shtml中的{}部分,就可以遍历爬取所有42页的内容。
我们按F12解析一下网页元素,可以看到,规范信息都储存在div class=“book_list_data” > div class="book_item"标签下,因此用xpath或者bs4可以快速定位,本次采用xpath方式爬取,下面开始正式代码。
3.代码实现
1、首先导入可能要用到的模块,并用列表推导式构造url列表,设置headers请求头 。
import requests
import time
from lxml import etree
#构造url列表
urls = ['http://www.jianbiaoku.com/webarbs/list/117/{}.shtml'.format(page) for page in range(1, 43)]
#设置headers请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
2、遍历url列表,循环获取页面响应内容,利用xpath定位获取每页的所有规范的<div>标签,然后再遍历获取每个<div>标签下的规范名称(bz_name)、规范编号(bz_id)、更新时间(bz_time),并保存到“国家规范-建筑专业.csv”文件下,设置异常处理,提高代码的容错性。
for index, url in enumerate(urls):
#设置休眠时间,防止被识别为爬虫
time.sleep(1)
response = requests.get(url=url, headers=headers)
response.encoding = 'utf-8'
content = response.text
#利用xpath定位获取每页的所有规范的<div>标签
html = etree.HTML(content)
items = html.xpath('//div[@class="book_list_data"]/div[@class="book_item"]')
print('开始爬取第{}页'.format(index+1))
#遍历获取每个<div>标签下的规范名称(bz_name)、规范编号(bz_id)、更新时间(bz_time)
for item in items:
#设置异常处理,提高代码的容错性
try:
bz_name = item.xpath('./span[@class="book_name"]/a/text()')[0]
bz_id = item.xpath('./span[@class="book_version"]/text()')[0]
bz_time = item.xpath('./span[@class="book_date"]/text()')[0]
#将获取的内容保存到“国家规范-建筑专业.csv”文件下
with open('国家规范-建筑专业.csv', 'a', encoding='utf-8') as f:
f.write(bz_name+','+bz_id+','+bz_time+'\n')
print(bz_name, bz_id, bz_time)
except IndexError:
print('数据异常')
pass
continue
3、运行程序,执行结果如图所示。
4、用excel打开csv文件,如图所示,大功告成!
小伙伴,你学会了吗?扫描下方二维码关注公众号,在后台回复“爬取规范”即可获取源代码。