创新项目实训(十一)
前言
我们组打算搭建一个国内旅游比价网站,
而我负责的部份是各大订酒店网站的数据获取及整理
主要参考版上的经验分享+自己的修改理解
小白0经验入门记录、边爬边学习ing
有错误或更好的建议都可以指教讨论
携程网站分析
透过马蜂窝上的接口只能获取价格,星级、评论数、用户评分没法得到,
所以我们还是要透过艺龙网站获取除价格外的资讯
透过关键字(酒店名)搜索网站
点DOC可以看到里面有除价格外的资讯
将OptionName跟display换成酒店名
def get(name):
url = 'https://hotels.ctrip.com/hotels/list?countryId=1&city=2&checkin=2021/07/09&checkout=2021/07/10&optionName={}&display={}'.format(p.quote(name),p.quote(name))
header ={
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36 Edg/90.0.818.66',
'refer': 'https://hotels.ctrip.com/hotels/list?countryId=1&city=2&checkin=2021/07/09&checkout=2021/07/10&optionId=2&optionType=City&directSearch=1&optionName={}&display={}&crn=1&adult=1&children=0&searchBoxArg=t&travelPurpose=0&ctm_ref=ix_sb_dl&domestic=1&'.format(p.quote(name),p.quote(name)),
'cookie': 自己的cookie
}
res = requests.get(url=url,headers=header)
#使用正则跟xpath提取数据
selector = Selector(res.text)
count = selector.xpath('//p[@class="count"]/a/text()').extract()
score = selector.xpath('//div[@class="score"]/span/text()').extract()
star = re.findall(r'\"\,\"star\"\:(.*?)\,\"hotelName\"',res.text)[0]
id = re.findall(r'\"\,\"hotelId\"\:(.*?)\,\"bookUrl\"',res.text)[0]
if count == []:
count = 0
else:
count = int(''.join(list(filter(str.isdigit, count[0]))))
if score == []:
score = 0
else:
score = score[0]
print(name, id, star)
print(score, count)
酒店名、酒店id、星级
用户评分、用户评论数