python爬取淘宝搜索页（练习）

最新推荐文章于 2023-11-14 21:20:21 发布

blackeagleoht

最新推荐文章于 2023-11-14 21:20:21 发布

阅读量868

点赞数 1

分类专栏：爬虫 python学习

本文链接：https://blog.csdn.net/blackeagleoht/article/details/83590230

版权

1、本博文中代码是转载内容，原文章地址如下：

https://segmentfault.com/a/1190000014688216

2、原作者讲解的很详细，我只是在原文代码的基础上稍作修改，添加了一些注释及无关紧要的代码

3、本篇博文涉及知识点如下：

①通过对比页面构造爬取网址
②获取日期及当前时间
③获取网页json内容
④通过观察json内容找到哪些关键点是要提取的信息，注意各个字典的嵌套

#python3.6
import re
import requests
from datetime import date
import json
import time

def sousuo(keyword,date_,select_type,pages):
    headers = {
   
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit'
                      '/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}
    item_ids = [];titles = [];prices = [];locations = [];sales_count = [];user_ids = [];store_names = []
    for i in range(int(pages)):
        page = str