爬取思路:
前两天有网友让我帮忙做一个通过快递100这个网站查快递物流信息的爬虫。研究了一下,发现实现起来不是很复杂,在此整理成文档并share给大家。
爬取思路:输入运单号后从服务器获取快递公司对应的ID号,然后拼接出新的请求地址来获取相关信息。
代码分解:
class KuaiDi100():
def __init__(self):
self.comCode = ""
self.temp = ""
self.url = r"https://www.kuaidi100.com/autonumber/autoComNum?"
self.headers = {
'Origin': 'https://www.kuaidi100.com',
'Referer': 'https://www.kuaidi100.com/?from=openv',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest'
}
新建KuaiDi100类,初始类方法创建comCode和temp两个变量。comCode用来接收服务器返回的快递公司id,temp在请求物流信息时会用到。
headers里需要把’X-Requested-With’: 'XMLHttpRequest’加上。
def GetInfo(self, num):
self.num = num
sel