爬去哪儿网5A景点评论

目的

获得去哪儿网评论信息（包括评论和打分），保存到本地csv文件。

前期准备工作（踩点）

1、打开网站，在门票搜索框直接输入“5A”，发现可以获得5A景区列表。

2、按下F12，让我们看一看，他们是如何组织这些景点信息的

哈哈，可以看到他们把所有的景点信息都放在了一个json文件里面，也就说我们直接获取这个json文件就能直接得到5A景点的列表了。
下面是获取json的url，参数一目了然有没有？！

http://piao.qunar.com/ticket/list.json?keyword=5A&region=&from=mps_search_suggest&page=2

3、接下来我们再研究一下每个景点的详情页

一样的配方，一样的味道！每个景点所有的评论依然在一个json文件里面
看到下面url里面的sightId了吗,经过验证这个就是景点的编号.

http://piao.qunar.com/ticket/detailLight/sightCommentList.json?sightId=3076&index=2&page=2&pageSize=10&tagType=0

现在我们大致已经有了思路.第一步,获得所有5A景点的信息用列表保存[景点名字,景点id],第二部,由景点id可以获得景点评论.一切看起来都是那么顺利.

4、等等似乎有什么不对我们再仔细看看

注意到左边json里面的sightid了吗?是"1582294258"明显不是我们刚才获取评论时用到的那个呀!倒是和地址栏里面的那个是一样的.好吧,看来看来他们对每个景点设置两个id,一个用于获取html文件(记为id)另一个是评论id(记为rid).看来需要研究一下怎么把id变为rid

好吧,发现这个id隐藏在head标签下喽.

上代码

采完点,我们就可以写代码了

import pandas as pd
import requests as req
import time,json

#获得景点id
def GetId():
    sightlist = []#储存包含景点列表的json
    for i in range(1,23):#先把所有景点列表的json都下载下来
        url = 'http://piao.qunar.com/ticket/list.json?from=mpl_search_suggest_h&keyword=5a&page=' + str(i) + '&sort='
        response = req.get(url)
        r = json.loads(response.text)
        sightlist.append(r)
        response.close
        #time.sleep(3)
    sight = {}#景点仓库所有的景点及其对应的id都放在这里
    for jsons in sightlist:#处理每个json，获得景点信息
        lists = jsons['data']['sightList']
        for each in lists:
            #print(each['sightName'])
            key = each['sightName']
            sight[key] = each['sightId']
    
    return sight
#垃圾查找函数，不会正则表达式，真是无奈
def search(s,e,r):
    start = r.find(s)
    l = len(s)
    end = r.find(e,start+l,start+100)
    rr = r[start+l:end]
    return rr
#获得评论id
def Getrid(id):
    url = 'http://piao.qunar.com/ticket/detail_' + str(id) + '.html'
    response = req.get(url)
    text = response.text
    rid = search('piao.qunar.com/ticket/detail_','.html',text)#这个方法是我百度的，有些时候用起来还真是方便
    num = search('<li class="mp-commentstab-item mp-actived" mp-role="tagItem" data-type="0">全部(',')</li>',text)
    
    dd = []
    dd.append(rid)
    dd.append(num)
    return dd
#获得一个景点的评论
def Getcom(rid,num,name):
    comments = [['*********************************以下是' + name + '的评论*********************************','']]#初始化并给每个景点的评论加上表头
    page = 1200 if int(num) > 1200 else int(num)#按照上级要求，每个景点1200条左右评论就行
    for i in range(1,(page//10)+1):#逐页获取评论并保存
        url = 'http://piao.qunar.com/ticket/detailLight/sightCommentList.json?sightId=' + str(rid) + '&index='+ str(i) + '&page=' + str(i) + '&pageSize=10&tagType=0'
        response = req.get(url)
        r = json.loads(response.text)
        if 'commentList' in r['data'].keys():
            for each in r['data']['commentList']:
                data = []#【评论，评分】
                data.append(each['content'])
                data.append(each['score'])
                if data[0] == "用户未点评，系统默认好评。":#去除无用的评论
                    continue
                comments.append(data)
                print(data[0])
                print(data[1])
                
    return comments

#保存到本地文件
def save(l):
    
    head = ["哪网5A景区的的评论" , "评分" ]
    df = pd.DataFrame (l , columns = head)
    df.to_csv ('去哪网.csv', encoding = "utf-8")

    
if __name__ =="__main__":
    sightid = GetId()#获得景点 id
    comment = []
    for each in sightid:
        print(each)
        print(Getrid(sightid[each])[0])
        print(Getrid(sightid[each])[1])
        
        co = Getcom(Getrid(sightid[each])[0],Getrid(sightid[each])[1],each)
        comment.extend(co)
            
        
    print("本次共爬取信息%d条数据"%(len(comment)))
    save(comment)
    

        
               

成果展示外加反省

大概30万条吧,美滋滋.等我开心完就回来,就回来整理出现的问题.欢迎各位大佬批评指正.