教你如何爬取某哪儿网酒店数据

已于 2022-06-05 19:42:53 修改
阅读量2.2k 收藏 10
点赞数 1
分类专栏： 笔记 文章标签： 爬虫 python
于 2022-05-01 13:57:33 首次发布
本文链接：https://blog.csdn.net/qq_44902227/article/details/124526215
版权
本文介绍了如何使用F12开发者工具抓取HTTP请求，特别是针对动态变化的加密参数Bella的处理。通过示例展示了查询酒店信息的接口，参数包括cityName、fromDate、sort和toDate等。请求返回了完美的JSON数据，可用于数据分析或自动化测试。
摘要由CSDN通过智能技术生成

本文仅用于学习，切勿用于商业用途，出现任何问题后果自负！！！

1、目标
URL：68747470733A2F2F686F74656C2E71756E61722E636F6D2F636E2F6265696A696E675F636974792F3F66726F6D446174653D323032322D30342D333026746F446174653D323032322D30352D303126636974794E616D653D254535253843253937254534254241254143
接口：68747470733A2F2F686F74656C2E71756E61722E636F6D2F6E6170692F6C697374

通过选择入住时间为5.01-5.02地点不限，查询部分结果如下：

在这里插入图片描述
按F12后，刷新，通过抓包查看
在这里插入图片描述
数据通过完美的JSON数据返回

查看请求参数：

在这里插入图片描述
如上图所示：

Bella：是加密参数，是动态变化的，每次请求都会变化

cityName：城市名称

fromDate：入住时间

sort：页数

toDate：离开时间

除了这几个参数，其他可固定

发起请求获取数据

获取数据：
在这里插入图片描述
在这里插入图片描述

Python实战项目1：Selenium--以携程酒店为例
lyccomcn的博客
04-03 2427
Selenium是一个用于网站应用程序自动化的工具，它可以直接运行在浏览器中，就像真正的用户在操作一样。它相当于一个机器人，可以模拟人类在浏览器上的一些行为，比如输入文本、点击、回车等。Selenium支持多种浏览器，本文以Chrome浏览器为例。chromedriver是一个驱动Chrome浏览器的驱动程序，针对不同的浏览器有不同的driver。
Python爬虫-某网酒店数据
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
08-31 3593
本文以某网的酒店数据为例，实现根据目标城市获取酒店数据。具体思路和方法跟着笔者直接往下看正文详细内容。（附带完整代码）使用浏览器打开url之后，直接F12键启动开发者工具。随机点击页面的翻页按钮，观察右侧控制台区域的变化，如下：页面请求方式和参数，这里就不过多详述了。在本专栏上一篇文章有详细介绍，感兴趣的同学可往前翻阅，接下来直接进入本文主题
python3爬取去哪儿酒店数据脚本
09-14
去哪儿酒店数据爬取，需要自己更换cookie，更换代理。输入要爬取的城市。 更换URL、data、headers同理可以爬取其他的数据~
python爬取酒店信息_Python 爬虫练手项目—酒店信息爬取
weixin_34567079的博客
02-04 1787
from bs4 import BeautifulSoupimport requestsimport timeimport reurl = 'http://search.qyer.com/hotel/89580_4.html'urls = ['http://search.qyer.com/hotel/89580_{}.html'.format(str(i)) for i in range(1,10...
影刀RPA实战：网页爬虫之携程酒店数据
最新发布
ddf128的博客
09-18 2434
大家对于携程并不陌生，我们出行定机票，住酒店，去旅游胜地游玩，都离不开这样一个综合性的网站为我们提供信息，同时，如果你也是做旅游的公司，那携程就是一个业界竞争对手，我们时刻了解他的网站数据变化，对公司的运营决策也是一个很好的支持！ 今天我们就来聊聊使用影刀RPA编写采集机器人，定时为我们采集携程酒店数据。 使用代码来爬取数据，一个最大的难处就是我们需要一个会写代码的程序员。自招或是兼职，人力成本都很高。影刀RPA的这些优势使其成为数据采集的强大工具，帮助企业和个人提高工作效率，释放人力资源，专注于更有价值的
selenium爬取去哪网酒店信息
DMU_lzq1996的博客
11-24 1198
直接上代码 # -*- coding: utf-8 -*- """ Created on Sat Nov 24 11:20:24 2018 @author: DMU刘小强 """ from selenium import webdriver import time from bs4 import BeautifulSoup import datetime import codecs from s...
爬取携程酒店信息
m0_69003698的博客
10-13 4352
爬取携程酒店信息
爬取去哪儿网酒店信息
热门推荐
全栈川川
11-06 2万+
不说太多废话，就简单一句：你们你要爬哪里可以把地点改一下，还有时间改一下，爬取数量自己修改参数和代码，变化不大。有问题请留言，我不再次废话分析（这里我爬取的上海最近的酒店信息） # coding=utf-8 import csv#用来储存文件的模块 import time import requests import json import pandas as pd#excel出处理 # 区域店铺id ct_Poi cateName抓取，传入参数为区域id def crow_id(city): u
python爬虫爬取艺龙国际酒店信息
daisyliudi的专栏
03-29 4469
项目需要用到数据，在网上找了好久的数据都没有结果，就自己写了爬虫。没咋写过程序，为了简单都没有用函数。中间遇见了不少问题，首先爬虫只能爬取前十条信息。为了解决这个问题，上网搜了一些信息。网上说动态网页抓取可以用selenium。于是按照书本和网上的教程安装了selenium和phantomjs。但是问题仍然没有解决，后来试了下用匿名ip的方法，失败。接着添加了模拟下拉网页的代码。成功获取了第一页的3
手把手教写爬虫 |Python 采集大众点评数据采集实战
Python_sn的博客
11-07 1190
任务 采集 http://www.dianping.com/shanghai/hotel 爬虫设计阶段 类型 问题 需要做到 1 请求 网页数据在哪里？ 发现网址url规律 2 请求 如何获取网页数据？ 先尝试使用requests成功访问一个url，拿到一个页面数据 3 解析 从html中定位需要的数据 使用pyquery对这一个页面的网页数据进行解析 4 存储 如何存储数据 使用csv库将数.
10分钟教你用Python获取百度地图各点的经纬度信息
infinitor的博客
04-10 2003
前言 Python确实是个好东西，可以用来解决很多数据上的烦恼。结合现在各个平台提供的API，可以用Python做很多有用的需求哦~ 需求分析 之前写论文的时候，就有这个需求了。就是抓取百度地图上某些特定的点的信息，生成测试算例去做算法后期的实验。比如下面地图： 现在需要爬取地图上搜索出来的“超市”这些点的相关信息，主要包括经纬度、地点名称啊等等。 首先，最笨的办法当然是先去百度地图坐标拾取...
爬取去哪儿酒店信息及评论
顶锅猫
06-28 1877
爬取去哪儿酒店信息及评论 第一步，获取城市列表 import requests import json import codecs # 去哪儿城市列表 url = "https://touch.qunar.com/h-api/hotel/hotelcity/en" s = requests.get(url) file = codecs.open('./city.json','w','utf-8') file.write(s.text) file.close() 运行结果： 第二步 根据城市列表
爬取穷游网的酒店数据
qq_41827631的博客
01-02 597
需要的工具：python3，requests，beautifulSoup，time，re等库。   from bs4 import BeautifulSoup import requests import time import re   url = 'http://search.qyer.com/hotel/89580_4.html' urls = ['http://search.qyer....
python3爬取全国酒店数据
岚风尘雨吾独醉、
04-11 914
有需要源码 私聊
基于selenium爬取去哪儿酒店信息
m0_54454944的博客
04-16 2323
去哪儿网站中，要爬取旅游的酒店信息，我们用通常的requests库进行爬取的时候发现，当我们要翻页的时候网址未出现变化，返回的网页源码信息始终只有第一页的内容，那么有没有一种方式可以使得能够翻页爬取呢？爬取酒店信息的重难点主要在于模拟的登录的过程，需要注意的坑是每次我们翻页的时候要下拉下滑网页，等待网页加载，加载完毕之后才能获取网页信息，再来就是网页信息的清洗，这里值得注意的是可能存在标签错位的情况，这里我们就要特殊情况，特殊处理。我们首先需要确定我们浏览器的版本，这里我使用的是谷歌浏览器。
Python3 实现大众点评网酒店信息和酒店评论的网页爬取
LeiGaiceong的博客
11-16 9820
Python3 实现大众点评网酒店信息和酒店评论的网页爬取概要本文根据已有的的”大众点评网”酒店主页的URL地址，自动抓取所需要的酒店的名称、图片、经纬度、酒店价格、星级评分、用户评论数量以及用户评论的用户ID、用户名字、评分、评论时间等，并且将爬取成功的内容存放到.txt文档中。本文是在博文http://blog.csdn.net/drdairen/article/details/51146961
python爬取去哪儿网酒店信息
JaysonWong的博客
01-15 6286
python爬取去哪儿网酒店信息 利用selenium+python爬取去哪儿网酒店信息，获取酒店名称、酒店地址、第一条评论、评论数、最低价格等信息，写入excel表。 1、观察网页结构 浏览器地址栏输入https://hotel.qunar.com/city/xiamen/#fromDate=2020-01-01&cityurl=xiamen&toDate=2020-01-02&...
python爬虫：案例三：去哪儿酒店价格信息
阿友的专栏
05-24 1万+
#coding=utf-8 import sys reload(sys) sys.setdefaultencoding( "utf-8" ) import urllib from selenium import webdriver import time from bs4 import BeautifulSoup import requests import os from selenium.we
爬取去哪儿网酒店信息,再利用百度API将酒店地址的经纬度爬取！
爬遍所有网站
07-29 1517
Python3 的 selenium库可以模拟打开页面,获得加载完成的页面信息,一些基本用法,请自行度娘,就不再赘述了 1.将某城市的所有酒店链接爬取下来。 先打开两个酒店页面 ** https://hotel.qunar.com/cn/nanjing/dt-29906?fromDate=2020-05-18&toDate=2020-05-19&highQuality=falsehttps://hotel.qunar.com/cn/nanjing/dt-10236?fromD
去哪儿网酒店信息采集
sinat_36564972的博客
08-16 975
# -*- coding: utf-8 -*- import urllib.request from bs4 import BeautifulSoup import csv import re #dizhi_url=['hohhot103','baotou114','chifeng202','tongliao458','ulanhot484','xilinhot500','manzho...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qq_44902227

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值