【旅行三部曲】爬取商家评论（1）

前言

暑假到来，想去领略祖国的大好河山吗，但是却苦于不知道去哪或者不知道景区是否值得一去的小伙伴们可以看过来，读读接下来旅行文章系列带你去选择最好的旅游地点，你值得拥有哦。(基于飞猪旅行上的景点)

评价

既然要评判旅游地点的价值那自然是从评论上，评分上，价格上进行判断，所以现在我们先进入景区上抓包

发现评价全在这个接口返回的数据里，我们再看看它得到请求参数

这些请求参数通过对比其他商家的参数(这里就不贴图了)发现以下参数我们需要知道

aucNumId
_ksTS(时间戳前13位_后三位)
callback（jsonp+时间戳_后的数字+1）
jumpto(当前评价页数)

aucNumId这个参数暂时不知道什么意思，可以再抓包看看，另外要想全部评价的话还要它的评价总数

通过这个接口返回的数据刚好解决评价总数以及aucNumId参数问题，看看它的请求参数

通过对比其他商家的参数(这里就不贴图了)发现以下参数我们需要知道

_ksTS
callback
sid
ticketkindname(票的类型)
productname*(游玩项目)

sid这个参数也不知道是什么意思，可能大家会想在js里面找吧，但没必要，通过观察整个页面的url，发现它就在里面

价格和评分

可以从这个接口里去找，返回数据如下
只要从数据里提取price和sellerScore参数即可

结尾

大致思路就是如上所述，以下就是代码实现

import re
import requests
import time
#时间戳处理
ks = time.time()
ksts = '%s_%s' %(int(ks*1000),str(ks)[-3:])
header = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
}
def select_(url, productname, ticketkindname):
    res = requests.get('http://s.alitrip.com/scenic/item.htm?', headers=header,
                       params={
                           '_ksTS': ksts,
                           'callback': 'jsonp' + str(int(ksts[-3:]) + 1),
                           'format': 'json',
                           'sid': re.findall(r'sid=(\d+)', str(url), re.S)[0],
                           'ticketkindname': ticketkindname,
                           'productname': productname,
                           'jumpto': '1',
                           '_input_charset': 'utf-8'
                       })
    res = res.text.strip()
    return res

def s_all(res):
    return re.findall(r'"sellerScore":"(\d.*?)".*?:"(.*?)".*?:"(.*?)"', res, re.S)


def select_one(res):
    page_all = re.findall(r'"feedNum":(\d+)', res, re.S)[0]#评价总数
    numid = re.findall(r'"itemid":(.*?),', res, re.S)[0]#aucNumId参数
    s = s_all(res)[0]#评分 商家 价格
    print(s)
    for i in range(0, int(page_all) // 6 + 1):
            details = requests.get('http://s.alitrip.com/scenic/ajax/ticketFeed.htm?', headers=header
              , params={
                '_ksTS': ksts,
                'callback': 'jsonp' + str(int(ksts[-3:]) + 1),
                'format': 'json',
                'aucNumId': numid,
                'pagesize': '6',
                'jumpto': str(i + 1),
                '_input_charset': 'utf-8'
            })
            detail = re.findall(r'"raterUserNick":"(.*?)".*?:"(.*?)"', details.text, re.S)#用户 评价
            print(detail)