我的Python爬虫笔记（二）——动态加载网页

这次爬取京东商品搜索页面的商品相关信息，搜索页面先加载前30个商品的信息，后30个信息是后加载出来的。使用BeautifulSoup处理网页的数据。

比如搜索关键词为“书包”，第2页的url是：https://search.jd.com/Search?keyword=%E4%B9%A6%E5%8C%85&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E4%B9%A6%E5%8C%85&stock=1&page=3&s=52&click=0
注意这里的page是3。京东商品搜索页面每一页有60个商品，其中后30个商品是动态加载出来的。第一页前30个商品的page=1，后30个商品的page=2；第二页前30个商品page=3，第二页后30个商品page=4

F12打开开发者模式，s.new.php?key…是动态加载后30个商品的网页请求，Request URL是其请求网址。

将请求分为前30个和后30个，parse_page_pre处理前30个商品的请求，parse_page_last处理后30个

import requests
from bs4 import BeautifulSoup
import bs4
import csv


def parse_page_pre(goods_info, i):
    '''
    处理前30个商品的请求，并使用soup处理数据
    :param goods_info: 商品信息列表
    :param i: 京东商品搜索的第i页
    '''
    url_pre = 'https://search.jd.com/Search?keyword=%E4%B9%A6%E5%8C%85&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&page=' + str(
        2 * i - 1)  # 前30个商品的url
    head = {
   
        'referer': 'https://search.jd.com/Search?keyword=%E4%B9%A6%E5%8C%85&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E4%B9%A6%E5%8C%85&page=1&s=26&click=0',
        'user-agent':