周六想和女友浪不知道怎么选酒店?Python告诉你全国著名高校附近酒店评论!...

点击上方“Python高校”,关注

文末干货立马到手

/1 前言/

  简介:本文介绍如何用python爬取全国著名高校附近的酒店点评,并进行分析,带大家看看著名高校附近的酒店怎么样。

/2 具体实现/

  具体的实现主要是分为三步,具体的操作过程如下。

一、抓取高校附近的酒店信息

  由于电脑客户端的美团酒店没有评论信息,于是我从手机端的网页入手,网页地址为:https://i.meituan.com/awp/h5/hotel/search/search.html

  通过搜索北京大学附近的酒店,抓包找到了返回酒店json信息的url。

  其中,limit代表返回酒店的最大数量(经测试,limit最大为50),offset为每次返回酒店数量的起点,cityId为城市的标志,在网页信息中可以找到,时间参数可以修改,sort为返回酒店信息的排序,sort=distance代表按距离搜索,q和keyword都是大学名称。

  返回的数据如下图所示:

    包含酒店的名字、地理位置、评分、realPoiId(相当于酒店的身份证号,后面爬评论用的到)、酒店和大学的距离等信息。

    下面我们开始爬排名前10高校附近的酒店信息(不要在乎大学排名,我乱找的,以学习为主):

(图片来源于网络)

  部分代码如下图所示:

  其中cityId和大学名字为控制变量,通过返回的距离信息将酒店位置控制在2000米以内,输出结果为:

  看看这10所大学2000米附近附近有多少家酒店:

  我们可以发现,南京大学附近酒店最多,有453家;上海交通大学闵行校区附近酒店最少,有75家。

二、抓取每家酒店的点评信息

  这个从这个url可以返回每家酒店的评论数量,poiId是酒店的“身份证号”。

  这个url可以返回酒店的所有评论信息,其中limit为返回的评论数量,可以直接用上个url返回的评论数量,一次全部以json格式返回,非常方便,返回结果如下:

三、遇到的坑

  1.刚开始爬评论是1次返回15个,后来发现可以Limit可以为评论的最大值,但是第一步返回的酒店信息中包含酒店评论数量是不准确的,要用第二步的方法;

  2.评论中乱七八糟的表情、符号也是大坑,去了好久也去不干净;

  3.最好用代理IP地址爬,否则评论太多,会被封。

/3 结语/

  本文基于Python网络爬虫,抓取了高校旁边的酒店数量及其评论数量,如果你想抓取其他地方的其他信息,也是可行的,可以纵向拓展。

  欢迎大家尝试,消耗在家的无聊时间。本文涉及的代码都上传到了github地址上,加我微信,备注“高校酒店”四个字即可获取代码。

加我微信,一起来交流呀!

????长按识别,添加微信

(添加人数较多,会自动通过)

------------------- End -------------------

推荐:

开源库

Python 开发者必知的 11 个 Python GUI 库

10款 Web开发最佳的 Python 框架

推荐 GitHub 上100天学习 Python的开源项目

Python绘图还在用Matplotlib?out了 !发现一款手绘可视化神器!

面试

我用  Python 爬了天猫内衣店的数据Python爬完数据后,我终于买车不用坐引擎盖哭啦

1年工作经验,拿下今日头条 Python 开发面经分享!

Python 面试中 8 个必考问题

面试 4 个月,最终入职微软!

10 家公司 Python 面试题总结

面试了9家公司,拿到5份Offer

面试Python怕? 你想要的315道题都在这了

如何拿到半数面试公司Offer——我的Python求职之路

学习路线

基于TensorFlow 2.0的中文深度学习开源书来了!GitHub趋势日榜第一,斩获2K+星

微软官方上线了Python 教程,7个章节就把Python说通了

最全 14 张思维导图:教你构建 Python 编程的核心知识体系

  Python 从入门到精通:一个月就够了!

  24招加速你的Python,超级实用!

即学即用的 30 段 Python 非常实用的代码

工具

最靠谱的Pycharm 汉化安装+ 破解详细教程!

Python数据分析、挖掘常用工具

Python 最强 IDE 详细使用指南!

一款 Python 自动抢票神器,收藏起来回家不愁!

实践和数据分析

Python 开发植物大战僵尸游戏

用 Python 来找合适的妹子

一键分析你上网行为,看你是在认真工作还是摸鱼

Python给照片换底色,基于opencv模块

10个经典的小技巧:快速用 Python 进行数据分析

使用 Python 进行微信好友分析

爬虫

我给曾经暗恋的初中女同学,用Python实现了她飞机上刷抖音

为了能早点买房,我用 Python 预测房价走势!

被女朋友三番五次拉黑后,我用 Python 写了个“舔狗”必备神器

谁偷偷删了你的微信?别慌!Python 揪出来为了给女友挑合适的内衣,我用  Python 爬了天猫内衣店的数据Python爬完数据后,我终于买车不用坐引擎盖哭啦

这里除了干货一无所有

人生苦短,我选在看

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值