当我们需要从网页中获取一些需要的数据时,我们可以使用一些html网页分析的函数库来快速的获取数据。目前有多款解析HTML网页的第三方库可供使用,例如lxml,beautiful soup等等。下面以lxml为例从网页中爬取我们需要的统计数据
我希望从北京公交网站获取北京公交的所有线路信息,从而为后续处理做准备
首先引用requests用于向网页发出访问请求,获取html网页原始数据
import requests
再引用lxml中的etree类
import lxml.etree
首先输入我们起始的爬取地址,公交线路网页的索引页,以此为起点,获取所有的线路对应的url的值
lxml.etree将html网页按照标签进行一层一层的划分,形成逐渐向下生长的树结构,我们通过查看网页的源代码找到我们想要的数据在哪个标签内,使用xpath函数提取对应标签内的数据`
```python
import requests
import lxml.etree
def get_all_line():
url = 'http://beijing.gongjiao.com/lines_all.html'
text = requests.get(url).text
doc = lxml.etree.HTML(text)
all_lines = doc.xpath("//div[@class='list']/ul/li")
f=open("./data/"+'allline.txt','a')
print(len(all_lines))
for line in all_lines:
line_name = line.xpath("./a/text()")[0].strip()
line_url = line.xpath("./a/@href")[0]
f.write(line_name+'$$'+line_url+'\n')
f.close()
这样我们获得了所有线路对应的url,在此基础上再依次爬取每一个线路网页的相关数据
在爬取线路数据之前,我们需要先建立字典用于保存不同字段的数据,便于管理。根据需要,我建立了一个13个字段的字典