第一步,导入模块
import re
import requests
import time
import matplotlib.pyplot as plt
第二步,获取请求头,并设置反爬。反爬只需要在请求头中添加Referer就OK!
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0','Referer':'https://item.jd.com/100006079301.html',}
第三步,遍历评论网页,匹配Json文件中的productColor信息,替换掉匹配字符串的空格,并写入文件。为防止被识别,爬一页休眠一秒。头铁的删掉 :)
for i in range(1,100):
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100006079301&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&rid=0&fold=1'
comment=requests.get(url,headers=headers)
html=comment.text
data=re.findall(r'"productColor":"(.*?)"