使用python爬取京东评论（json）

任务：爬取京东某手机的评论

这次爬取的内容是动态的所以不能直接爬源代码中的内容

1. 打开网页按下F12在Network里找到productPageComments文件
   
2. 打开这个文件
   
3. 这个文件是由json保存的（这里面就是要爬取的内容)
   
4. 先用读取网页

url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
#这里是上面网页的url
request=urllib2.Request(url)
response=urllib2.urlopen(request)
html =response.read().decode('GBK')

5 . 处理字符串使它可以使用json.loads语句

html=html.replace('fetchJSON_comment98vv17182(','')
html=html.replace(');','')
b=json.loads(html)

6 .整体代码：

#--*--coding:utf-8--*--
import urllib2
import json
import sys
reload(sys)
sys.setdefaultencoding('utf8')

f = open('01.txt','w')
for i in range(0,10):
    url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&fold=1'
    #实现爬多页
    print url
    request=urllib2.Request(url)
    response=urllib2.urlopen(request)
    html =response.read().decode('GBK')


    html=html.replace('fetchJSON_comment98vv17182(','')
    html=html.replace(');','')
    #去掉多余的字符
    b=json.loads(html)

    for k in b['comments']:

        content = k["content"].encode('utf-8')
        print content
        f.write(k["content"].encode('utf-8')+'\n')
        referenceName=k["referenceName"].encode('utf-8')
        print referenceName
        f.write(k["referenceName"].encode('utf-8')+'\n')
        referenceTime=k["referenceTime"].encode('utf-8')
        print referenceTime
        f.write(k["referenceTime"].encode('utf-8')+'\n\n')