python爬取国外物流网站kerry（1）

因为乙方给的物流信息总是延迟和不准确，所以老板有时会要求我去核实货态。所以开始学习爬虫。有些步骤是自己练习用的，仅实现需求的话，可以省掉一些。(如保存html文件到本地才读取等)

这篇文章仅爬取了最后一条货态。用的是requests库和Xpath来解析html网页。思路如下：

• 用requests.get获取含有货态信息的页面
• 将页面下载至本地，并用Xpath解析，提取出最后一条货态信息
• 循环爬取页面获取指定信息后输出到指定文件。

代码如下：

import requests
from lxml import etree
import pandas as pd
import time
#查货态，用XPath
start=time.time()
def pa(s):
	url='https://th.kerryexpress.com/en/track/?track='+s
	headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}
	response=requests.get(url,headers=headers)
	name='D:/kerry/HTML/'+s+'.html'
	with open(name,'w',encoding='utf-8') as fp:
		fp.write(response.text)
	parser = etree.HTMLParser(encoding='utf-8')
	html = etree.parse(name,parser=parser)
	trs = html.xpath("//div[@class='d1']/text()")
	return trs[0].strip()#去除两端的空格
data=pd.read_excel('D:/kerry/运单号.xlsx')
list=list(data['运单号'])[1:]
L=[]
for x in list:
	a=pa(x)
	L.append(a)
c={'运单号':list,'货态':L}
C=pd.DataFrame(c)
C.to_excel('D:/kerry/result.xlsx',index=False)
t=(time.time()-start)
print('耗时:',t)

其中，程序前后调用了time.time(),相减即该程序的运行时间。