因为乙方给的物流信息总是延迟和不准确,所以老板有时会要求我去核实货态。所以开始学习爬虫。有些步骤是自己练习用的,仅实现需求的话,可以省掉一些。(如保存html文件到本地才读取等)
这篇文章仅爬取了最后一条货态。用的是requests库和Xpath来解析html网页。思路如下:
- 用requests.get获取含有货态信息的页面
- 将页面下载至本地,并用Xpath解析,提取出最后一条货态信息
- 循环爬取页面获取指定信息后输出到指定文件。
代码如下:
import requests
from lxml import etree
import pandas as pd
import time
#查货态,用XPath
start=time.time()
def pa(s):
url='https://th.kerryexpress.com/en/track/?track='+s
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}
response=requests.get(url,headers=headers)
name='D:/kerry/HTML/'+s+'.html'
with open(name,'w',encoding='utf-8') as fp:
fp.write(response.text)
parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse(name,parser=parser)
trs = html.xpath("//div[@class='d1']/text()")
return trs[0].strip()#去除两端的空格
data=pd.read_excel('D:/kerry/运单号.xlsx')
list=list(data['运单号'])[1:]
L=[]
for x in list:
a=pa(x)
L.append(a)
c={'运单号':list,'货态':L}
C=pd.DataFrame(c)
C.to_excel('D:/kerry/result.xlsx',index=False)
t=(time.time()-start)
print('耗时:',t)
其中,程序前后调用了time.time(),相减即该程序的运行时间。