京东商品评论爬取

最新推荐文章于 2024-08-24 17:03:21 发布

外星球的地球人是外星人吗？

最新推荐文章于 2024-08-24 17:03:21 发布

阅读量331

点赞数 1

本文链接：https://blog.csdn.net/wjl__ai__/article/details/107335868

版权

在这里插入图片描述

点击评论，刷出这个带评论的包。
在这里插入图片描述
page=0是页数，通过控制page来控制翻页。

请求头参考！（可复制）在这里插入图片描述

import requests
import time
import pandas as pd
import json

df = pd.DataFrame(columns=['id','content','is_good'])
count = 0
header = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36",
    "Referer":"https://item.jd.com/100002980009.html",
    "Cookie":"填自己的",
}
for i in range(0,500):
    try:
        url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100002980009&score=0&sortType=5&page=" + str(i) + "&pageSize=10&isShadowSku=0&fold=1"
        r = requests.get(url,headers=header,timeout=10)
        time.sleep(5)
        d = r.text[20:-2]
        d = json.loads(d)
        print(i)
        for j in range(10):
            df.loc[count,'id'] = d['comments'][j]['id']
            df.loc[count,'content'] = d['comments'][j]['content']
            df.loc[count, 'is_good'] = d['comments'][j]['score']
            count += 1
    except:
        print("出错了!")