Python爬虫JD杜蕾斯源码

 

import requests
import json
import os
import time
import random
import jieba
from wordcloud import WordCloud
from imageio import imread

comments_file_path = 'jd_comments.txt'
def get_jd_comments(page = 0):
        #获取jd评论
        url ='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=1340204&score=0&sortType=5&page=%s&pageSize=10&isShadowSku=0&fold=1'%page
        headers = {
            #从哪个页面发出的数据申请，每个网站都是不一样的
            'referer': 'https://item.jd.com/1340204.html',
            #'user-agent'指的是用户代理，也就是让网站知道你用的哪个浏览器登录的
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
            #哪一类用户想要看数据，是游客还是会员,建议使用登录后的
            'cookie': '__jdu=1766075400; areaId=27;