利用json实现vivo x20手机评论的爬取

这个比我以前写的那个京东上随意商品的评论简单很多。

# -*- coding:utf-8 -*-
import urllib
import re
import json

def getHtml(url):
    page=urllib.urlopen(url)
    html=page.read().decode("gbk")
    return html
def getItems(html):
    reg=re.compile("fetchJSON_comment98vv766\(") #这是重点，这个小程序的核心
    data=reg.sub('',html)
    reg1=re.compile("\);")
    data=reg1.sub('',data)
    a=json.loads(data)
    for k in a["comments"]:
        print k["content"]
        print k["referenceName"]
        print k["referenceTime"]
    f1=open('vivo.txt','a+')
    f1.write(k["content"].encode('UTF-8'))
    f1.write(k["referenceName"].encode('UTF-8'))
    f1.write(k["referenceTime"].encode('UTF-8'))
    f1.close()
for i in range(0,10):
    url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv766&productId=5331985&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&fold=1'
    html=getHtml(url)
    getItems(html)

这两个大部分的框架是一样的，其中最主要的还是要找到json库，把它存入字典，然后方便我们的调取，舒服很多...