web crawler案例篇（二）

#某电商——评论等内容
"""导入相关库"""
import json
import time
import random
import requests
import pandas as pd

#请求头部信息
headers = {"referer":"https://item.jd.com/100011177166.html",
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}

content_url = [] #建立空列表，用来存放网页链接
n = 10
for i in range(0,n):
    url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100005013835&score=0&sortType=6&page='+str(i)+'&pageSize=10&isShadowSku=0&fold=1'
    content_url.append(url)
    
"""爬取内容"""    
all_content=pd.DataFrame() #建立数据框，用来存放爬取的内容
for j in range(0,n):
    print("正在爬取第{}页的内容".format(j))
    response = requests.get(content_url[j],headers=headers) #请求网页内容
    html = str(response.text) #网页内容转化成字符串
    html = html.replace("fetchJSON_comment98(","") 
    html = html[:-2]   #以上两步转化成标准的JSON格式
    data = json.loads(html) #标准的JSON格式转化为python中的字典类型
    nickname = [x['nickname']for x in data['comments']] #列表推导式提取昵称
    content = [x['content'] for x in data['comments']] #列表推导式提取评论内容
    creationTime = [x['creationTime'] for x in data['comments']] #列表推导式提取时间
    all_content=all_content.append(pd.DataFrame({'nickname':nickname, 'content':content,'creationTime':creationTime})) #获取的内容存入数据框中
    time.sleep(random.randint(2,3)) #暂缓2-3之间的随机数秒
    print('爬取完成')
"""保存文件"""
all_content.to_csv('E:\\reviews.csv',index=False,encoding='GBK')

以上内容仅供学习使用！