原 python爬虫——代码练习郑州公交线路的爬取

导入请求
从lxml导入etree 


＃列表用户保存所有的线路信息
items = [] 


头= { 
'用户代理'：'Mozilla / 5.0（Windows NT 6.1; Win64; x64）AppleWebKit / 537.36（KHTML，像Gecko） Chrome / 66.0.3359.181 Safari / 537.36'，
} 


def parse_navigation（）：
url =' http://zhengzhou.8684.cn/'r 
= requests.get（url，headers = headers）
＃解析内容，获取所有的导航链接
树= etree.HTML（r.text）
＃查找以数字开头的所有链接
number_href_list = tree.xpath（'// div [@ class =“bus_kt_r1”] / a / @ href'）
＃查找以字母开头的所有链接
char_href_list = tree.xpath（'// div [@ class =“bus_kt_r2”] / a / @ href'）
＃将需要爬取的所有链接返回
返回number_href_list + char_href_list 


def parse_erji_route（content）：