创新项目实训(十一)

创新项目实训(十一)

前言

我们组打算搭建一个国内旅游比价网站，
而我负责的部份是各大订酒店网站的数据获取及整理

主要参考版上的经验分享+自己的修改理解
小白0经验入门记录、边爬边学习ing
有错误或更好的建议都可以指教讨论

携程网站分析

透过马蜂窝上的接口只能获取价格，星级、评论数、用户评分没法得到，
所以我们还是要透过艺龙网站获取除价格外的资讯
透过关键字(酒店名)搜索网站

点DOC可以看到里面有除价格外的资讯

将OptionName跟display换成酒店名

def get(name):
    url = 'https://hotels.ctrip.com/hotels/list?countryId=1&city=2&checkin=2021/07/09&checkout=2021/07/10&optionName={}&display={}'.format(p.quote(name),p.quote(name))
    header ={
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36 Edg/90.0.818.66',
        'refer': 'https://hotels.ctrip.com/hotels/list?countryId=1&city=2&checkin=2021/07/09&checkout=2021/07/10&optionId=2&optionType=City&directSearch=1&optionName={}&display={}&crn=1&adult=1&children=0&searchBoxArg=t&travelPurpose=0&ctm_ref=ix_sb_dl&domestic=1&'.format(p.quote(name),p.quote(name)),
        'cookie': 自己的cookie
    }
    res = requests.get(url=url,headers=header)
    #使用正则跟xpath提取数据
    selector = Selector(res.text)
    count = selector.xpath('//p[@class="count"]/a/text()').extract()
    score = selector.xpath('//div[@class="score"]/span/text()').extract()
    star = re.findall(r'\"\,\"star\"\:(.*?)\,\"hotelName\"',res.text)[0]
    id = re.findall(r'\"\,\"hotelId\"\:(.*?)\,\"bookUrl\"',res.text)[0]
    if count == []:
        count = 0
    else:
        count = int(''.join(list(filter(str.isdigit, count[0]))))
    if score == []:
        score = 0
    else:
        score = score[0]

	print(name, id, star)
    print(score, count)

酒店名、酒店id、星级
用户评分、用户评论数