python爬虫之爬取某东华为p50详情页评论+换页爬取+文件数据存储

上回说到爬取某东华为p50的评论
某东华为p50详情页评论

翻页我们要怎么做咧?

第一页

url ='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100024533316&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'

第n页:自己输入第几页

total = input('输入需要爬取的页数：')

url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100024533316&score=0&sortType=5"+"&page="+total+"&pageSize=10&isShadowSku=0&rid=0&fold=1"

以文件存储

结果：

源码：

import requests
import re


total = input('输入需要爬取的页数：')
url ='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100024533316&score=0&sortType=5"+"&page="+total+"&pageSize=10&isShadowSku=0&rid=0&fold=1'
headers = {
         "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (HTML, like Gecko) "
                       "Chrome/96.0.4664.93 Safari/537.36 "
}
resp = requests.get(url, headers=headers)
lst = re.compile(r'","content":"(?P<name>.*?)".*?', re.S)
result = lst.finditer(resp.text)
for it in result:
    val = (it.group("name"))
    print(val)
    with open('D:\pythonProject3\\goods.txt', 'a', encoding='utf-8')as f:
        f.writelines(val)

此次分享就到这里，欢迎大家指导指正~ 我是爱吃肉的小白yyyloki，如果你觉得不错的话点个赞👍吧！或者你可以关注，持续更新。我们下次见~886

下篇分享某东华为p50搜索页爬虫，数据导入excel或数据库。