爬取京东商品规格和评论，13行代码写成的模板，想爬哪个商品评论就爬哪个

最新推荐文章于 2023-03-14 23:29:50 发布

会飞的佩奇1

最新推荐文章于 2023-03-14 23:29:50 发布

阅读量346

点赞数

文章标签：正则表达式 python 爬虫

本文链接：https://blog.csdn.net/m0_55081088/article/details/116854697

版权

先看运行效果

在这里插入图片描述
上面图片是爬取京东阿玛尼口红的评论和商品规格

下面是13行代码，没错13行就可以了，想爬哪个就输入哪个商品的编号，商品编号在下面图片中找，我在爬取时候发现商品编号在url中有显示，比对之后才知道这个是商品编号，于是就用13行代码做成了这个爬虫模板

import  requests,re
n=input('请输入你要爬取的商品编号,比如:10026501608987\n')
r1='"productColor":"(.*?)",'  #正则匹配商品规格
r2='"content":"(.*?)",'      ##正则匹配商品评论
headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'}
for num in range(10):  #需要爬取几页range()括号里就填几，默认为10页
    url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId={}&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'
    url=url.format(int(n),num)
    res= requests.get(url=url,headers=headers).text
    productColor=re.findall(r1,res)
    content=re.findall(r2,res)
    for p,c in zip(productColor,content):
        print(p,c)