python爬虫之淘宝商品比价定向爬虫

最新推荐文章于 2022-01-03 22:36:48 发布

amanda_lxy

最新推荐文章于 2022-01-03 22:36:48 发布

阅读量989

点赞数 2

本文链接：https://blog.csdn.net/weixin_45452343/article/details/97927771

版权

本文介绍了如何使用Python的requests和re库定向爬取淘宝商品信息。通过设计结构，包括提交商品搜索请求并循环获取多页数据，提取每页的商品名称和价格。然而，初始代码运行时由于未登录导致无法获取商品详情，解决方案是利用cookie进行模拟登陆。文章提及需要先在浏览器中获取cookie和headers，然后更新getHTMLText()函数，以成功爬取和展示淘宝商品数据。后续内容将探讨如何实现模拟登陆淘宝。

摘要由CSDN通过智能技术生成

使用requests，re库来定向爬取淘宝商品。

结构设计：

提交商品搜索请求，循环获取后续页面
对于每个页面，提取商品名称、价格信息
将信息输入到屏幕上

import requests
import re

def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print('连接失败')

def parsePage(ilt,html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.\d]*\"',html)
        tlt = re.findall(r