当我们需要从网页中获取一些需要的数据时,我们可以使用一些html网页分析的函数库来快速的获取数据。目前有多款解析HTML网页的第三方库可供使用,例如lxml,beautiful soup等等。下面以lxml为例从网页中爬取我们需要的统计数据
我希望从北京公交网站获取北京公交的所有线路信息,从而为后续处理做准备
首先引用requests用于向网页发出访问请求,获取html网页原始数据
import requests
再引用lxml中的etree类
import lxml.etree
首先输入我们起始的爬取地址,公交线路网页的索引页,以此为起点,获取所有的线路对应的url的值
lxml.etree将html网页按照标签进行一层一层的划分,形成逐渐向下生长的树结构,我们通过查看网页的源代码找到我们想要的数据在哪个标签内,使用xpath函数提取对应标签内的数据
def get_all_line():
url = 'http://beijing.gongjiao.com/lines_all.html'
text = requests.get(url).text
doc = lxml.etree.HTML(text)
all_lines = doc.xpath("//div[@class='list']/ul/li")
f=open("./data/"+'allline.txt','a')
print(len(all_lines))
for line in all_lines:
line_name = line.xpath("./a/text()")[0].strip()
line_url = line.xpath("./a/@href")[0]
f.write(line_name+'$$'+line_url+'\n')
f.close()
这样我们获得了所有线路对应的url,在此基础上再依次爬取每一个线路网页的相关数据
在爬取线路数据之前,我们需要先建立字典用于保存不同字段的数据,便于管理。根据需要,我建立了一个13个字段的字典
df_dict = {
'line_name': [], 'line_url': [], 'line_start': [], 'line_stop': [],
'line_op_time': [], 'line_interval': [], 'line_price': [], 'line_company': [],
'line_up_times': [], 'line_station_up': [], 'line_station_up_len': [],
'line_station_down': [], 'line_station_down_len': []
}
从我们刚刚生成的url数据文件中读取所有的url,以下是对于读取线路数据的函数实现
def getbuslin(line):
line_name = line[:line.find('$$')]
line_url = line[line.find('$$')+2:]
#print(line_url)
url = line_url
text = requests.get(url).text
#print(len(text))
doc = lxml.etree.HTML(text)
infos = doc.xpath("//div[@class='gj01_line_header clearfix']")
for info in infos:
#f=open("./data/"+line_name+'.txt','a')
start_stop = info.xpath("./dl/dt/a/text()")
#f.write('start-stop'+start_stop+'\n')
op_times = info.xpath("./dl/dd[1]/b/text()")
#f.write('open time:'+op_times+'\n')
interval = info.xpath("./dl/dd[2]/text()")
#f.write('interval:'+interval+'\n')
price = info.xpath("./dl/dd[3]/text()")
#f.write('price:'+price+'\n')
company = info.xpath("./dl/dd[4]/text()")
#f.write('company:'+company+'\n')
up_times = info.xpath("./dl/dd[5]/text()")
all_stations_up = doc.xpath('//ul[@class="gj01_line_img JS-up clearfix"]')
for station in all_stations_up:
station_up_name = station.xpath('./li/a/text()')
df_dict['line_station_up'].append(station_up_name)
df_dict['line_station_up_len'].append(len(station_up_name))
#f.write(station_name+'\n')
all_stations_down = doc.xpath('//ul[@class="gj01_line_img JS-down clearfix"]')
if len(all_stations_down)== 0:
#print(line_name)
df_dict['line_station_down'].append('')
df_dict['line_station_down_len'].append(0)
for station in all_stations_down:
station_down_name=station.xpath('./li/a/text()')
df_dict['line_station_down'].append(station_down_name)
df_dict['line_station_down_len'].append(len(station_down_name))
#f.write(station_name+'\n')
#f.close()
df_dict['line_name'].append(line_name)
df_dict['line_url'].append(line_url)
df_dict['line_start'].append(start_stop[0])
df_dict['line_stop'].append(start_stop[1])
if len(op_times)==0:
op_times.append(defaultoptime)
df_dict['line_op_time'].append(op_times[0])
df_dict['line_interval'].append(interval[0][5:])
df_dict['line_company'].append(company[0][5:])
df_dict['line_price'].append(price[0][5:])
df_dict['line_up_times'].append(up_times[0][5:])
字典的实质依然是列表,因此对字典的操作方法可以参考列表
我从网页中提取了公交线路的线路名称,起始站,终点站,运营时间,发车间隔,票价,起始终点站,上下行所有站点
将数据全部存入建立的字典之后,保存为csv文件,这里需要用到pandas库
import pandas as pd
df = pd.DataFrame(df_dict)
df.to_csv(name+'.csv', encoding='utf-8', index=None)
这时,我们已经把网页数据经过解析保存到了本地,以便后续的处理
由于公交车的线路数据相对静态,因此不需要进行实时更新,数据量也相对较小,但是整个程序运行下来依然需要好几分钟
这里我还没有采用多进程处理,后续可以通过多进程优化来充分利用计算机的性能缩短所需的时间