使用python爬取京东评论(json)

任务:爬取京东某手机的评论

这次爬取的内容是动态的所以不能直接爬源代码中的内容

  1. 打开网页按下F12在Network里找到productPageComments文件
    这里写图片描述
  2. 打开这个文件
    这里写图片描述
  3. 这个文件是由json保存的(这里面就是要爬取的内容)
    这里写图片描述
  4. 先用读取网页
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
#这里是上面网页的url
request=urllib2.Request(url)
response=urllib2.urlopen(request)
html =response.read().decode('GBK')

5 . 处理字符串使它可以使用json.loads语句

html=html.replace('fetchJSON_comment98vv17182(','')
html=html.replace(');','')
b=json.loads(html)

6 .整体代码:

#--*--coding:utf-8--*--
import urllib2
import json
import sys
reload(sys)
sys.setdefaultencoding('utf8')

f = open('01.txt','w')
for i in range(0,10):
    url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&fold=1'
    #实现爬多页
    print url
    request=urllib2.Request(url)
    response=urllib2.urlopen(request)
    html =response.read().decode('GBK')


    html=html.replace('fetchJSON_comment98vv17182(','')
    html=html.replace(');','')
    #去掉多余的字符
    b=json.loads(html)

    for k in b['comments']:

        content = k["content"].encode('utf-8')
        print content
        f.write(k["content"].encode('utf-8')+'\n')
        referenceName=k["referenceName"].encode('utf-8')
        print referenceName
        f.write(k["referenceName"].encode('utf-8')+'\n')
        referenceTime=k["referenceTime"].encode('utf-8')
        print referenceTime
        f.write(k["referenceTime"].encode('utf-8')+'\n\n')
  • 3
    点赞
  • 33
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值