爬取商品网站重定向链接信息

有些商品网站点击购买后，网站自动跳转到其他商品界面，所以我们可以用如下方法实现真实的商品链接，进而获得实际商品的ID信息。

import requests
from lxml import etree
import time

# 解析网页
url = ('https://*********.com/')
headers = {'User-Agent': '***********'}
resp = requests.get(url=url, headers=headers)
resp.encoding = 'utf-8'
tree = etree.HTML(resp.text)  # 使用lxml解析HTML

# 获取商品页面的页码
page = tree.xpath('*****')
i = 1
for image_page in page:
    print("以下是第{}页的数据：".format(i))
    i += 1
    response_names = requests.get(image_page)
    tree = etree.HTML(response_names.text)
    # 处理每一页的商品链接
    image = tree.xpath('******')
    for image_link in image:
        # print("商品链接：", image_link)

        # 获取购买链接
        response_names = requests.get(image_link)
        tree = etree.HTML(response_names.text)
        buy = tree.xpath('*****')
        buy = ''.join(buy)
        # print("商品跳转的链接：", buy)

        # 获取重定向的链接
        response = requests.get(url=buy, headers=headers)
        # print("实际链接：", response.url)

        # 进一步提取链接里的ID信息
        ids = response.url.split("****")[-1].split("****")[0]  # 分割链接里的ID信息
        print(ids)

time.sleep(2)  # 有些网站需要设置爬虫间隔时间

在上述代码中获取页码的方法有很多种，现在最常用的是selenium框架来提取，也可以用我上面的自增方式，后者比较简单。
在代码运行过程中，尽量每输出一段代码测试一遍，不然不知道BUG在哪儿。
网络不好的情况下会出现无法连接的问题，我们可以设置sleep值。实在不行重复RUN！

当然了，不要随便爬取某些大型网站，越爬越刑！