导入请求
从lxml导入etree
#列表用户保存所有的线路信息
items = []
头= {
'用户代理':'Mozilla / 5.0(Windows NT 6.1; Win64; x64)AppleWebKit / 537.36(KHTML,像Gecko) Chrome / 66.0.3359.181 Safari / 537.36',
}
def parse_navigation():
url =' http://zhengzhou.8684.cn/'r
= requests.get(url,headers = headers)
#解析内容,获取所有的导航链接
树= etree.HTML(r.text)
#查找以数字开头的所有链接
number_href_list = tree.xpath('// div [@ class =“bus_kt_r1”] / a / @ href')
#查找以字母开头的所有链接
char_href_list = tree.xpath('// div [@ class =“bus_kt_r2”] / a / @ href')
#将需要爬取的所有链接返回
返回number_href_list + char_href_list
def parse_erji_route(content):
从lxml导入etree
#列表用户保存所有的线路信息
items = []
头= {
'用户代理':'Mozilla / 5.0(Windows NT 6.1; Win64; x64)AppleWebKit / 537.36(KHTML,像Gecko) Chrome / 66.0.3359.181 Safari / 537.36',
}
def parse_navigation():
url =' http://zhengzhou.8684.cn/'r
= requests.get(url,headers = headers)
#解析内容,获取所有的导航链接
树= etree.HTML(r.text)
#查找以数字开头的所有链接
number_href_list = tree.xpath('// div [@ class =“bus_kt_r1”] / a / @ href')
#查找以字母开头的所有链接
char_href_list = tree.xpath('// div [@ class =“bus_kt_r2”] / a / @ href')
#将需要爬取的所有链接返回
返回number_href_list + char_href_list
def parse_erji_route(content):