Python爬虫 --爬取京东商品信息

本次学习的爬取内容是京东商品列表信息
网址是：https://search.jd.com/Search?keyword=手机&enc=utf-8
使用了第三方库 requests

因为京东每一页的商品信息被分为前30件商品和后30件商品信息，所以将分为两部分爬取

第一步：

获取页面前30件信息
利用开发者工具查看headers信息

    # 构造headers信息
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}

下面对url的观察发现可改变page参数还获取不同的界面
对于防爬处理：requests请求的时候控制了访问时长

    page = 2 * s - 1
    url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page={}&s=115'.format(
        page)
    # 请求访问
    try:
        time.sleep(random.randint(0, 3))  # 控制访问速度
        response = requests.get(url, headers=headers)
    except RequestException:
        print('请求前30失败')
        exit()

请求成功后可以获取网页字符串再用re提取所需要的信息


用正则提取信息

    try:
        res = re.findall(
            '<strong class="J_([\d]{1,15})" data-done="1"><em>￥</em><i>(\d{1,5}\.\d{2})</i></strong>.*?<em>([^￥].*?)</em>',
            response.text, re.S)
        return res
    except:
        return None

第二步：

获取页面后30件商品信息
同样也是利用开发者工具找到商品信息

尝试了很多次的访问这个网页，需要构造的headers信息有

另外对于url的观察后发现需要更改三个参数才可以获取数据

    # 设置变化参数
    page = 2 * s
    shijian = '%.5f' % time.time()
    n = 48 * s - 20
    url = 'https://search.jd.com/s_new.php?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page={}&s={}&scrolling=y&log_id={}'.format(
        page, n, shijian)

requests成功获取后30件商品信息后，对于信息的提取跟前30件商品一样的，这里就不展示了

第三步：

对数据处理和存储

如发现可以改进的地方或者哪里做得不好，希望大家能够提出多多交流。