爬取携程和蚂蜂窝的景点评论数据\携程评论数据爬取\旅游网站数据爬取

最新推荐文章于 2024-04-28 00:09:38 发布
最新推荐文章于 2024-04-28 00:09:38 发布
阅读量1.3w 收藏 23
点赞数 1
分类专栏： 爬虫 文章标签： python爬虫 微博数据出售 社交媒体数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28053189/article/details/79538978
版权

本人长期出售超大量微博数据、旅游网站评论数据，并提供各种指定数据爬取服务，Message to YuboonaZhang@Yahoo.com。同时欢迎加入社交媒体数据交流群：99918768

前言

  为了获取多源数据需要到各个网站获取一些景点的评论信息和图片，首先选到了携程和蚂蜂窝这两个网站，将一些爬取过程记录下来

携程

分析数据

  首先我们去携程的鼓浪屿景点速览看一下我们要爬取的页面，大概发现有几十个景点，每个景点的结构应该都是差不多的，所以我们选择第一个景点进去看看具体的页面应该怎么爬取。

鼓浪屿评论分析

我们需要的是红圈的部分，很容易可以知道这个评论页面是动态加载的，所以不能直接用bs4或者正则直接提取元素，我们需要分析一下页面动态传输的接口。打开chrome审查元素,切换到network查看一下传输的内容，首先清空内容避免干扰，然后点击下一页，我们可以得到

鼓浪屿审查元素

通过查看传回的数据我们可以得到这就是我们所要的接口，使用的是post进行传输，传输的Form Data

最低0.47元/天 解锁文章
yuboona
关注
  • 1
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python爬取携程和蚂蜂窝的景点评论数据\python爬取携程评论数据\python旅游网站评论数...
weixin_34349320的博客
01-14 2172
本人长期出售超大量微博数据、旅游网站评论数据，并提供各种指定数据爬取服务，Message to YuboonaZhang@Yahoo.com。同时欢迎加入社交媒体数据交流群：99918768 前言   为了获取多源数据需要到各个网站获取一些景点的评论信息和图片，首先选到了携程和蚂蜂窝这两个网站，将一些爬取过程记录下来 携程 分析数据   首先我们去携程的鼓浪屿景点速览看一下我们要爬取的页面，大概发...
获取马蜂窝景点数据和景点评论数据
weixin_43847900的博客
05-25 1181
CREATE TABLE `poi` ( `poi_id` int NOT NULL, `name` varchar(128) DEFAULT NULL, `image` varchar(512) DEFAULT NULL, `link` varchar(512) DEFAULT NULL, `lat` float DEFAULT NULL, `lng` float DEFAULT NULL, `type` int DEFAULT NULL, `is_cnmain` int.
基于python的携程旅游数据采集作业，通过selenium爬取指定经典用户评论信息，将用户评论信息保存在本地数据库和excel文件。
weixin_64420488的博客
04-28 901
三.创建chromeddriver对象实例。五.建立数据库连接，保存到本地数据库。六.将数据保存在xlsx文件中。七.保存用户的评论图片到本地。四.获得用户评论数据。
Python 获取旅游景点信息及评论并作词云、数据可视化
Python学习与数据挖掘
08-27 1712
正所谓：有朋自远方来，不亦乐乎？有朋友来找我们玩，是一件很快乐的事情，那么我们要尽地主之谊，好好带朋友去玩耍！那么问题来了，什么时候去哪里玩最好呢，哪里玩的地方最多呢？今天将手把手教你使用线程池爬取同程旅行的景点信息及评论数据并做词云、数据可视化！！！带你了解各个城市的游玩景点信息。在开始爬取数据之前，我们首先来了解一下线程。......
Python爬虫爬取马蜂窝旅游景点评分、评论、评论日期（针对只能爬取五页评论做了改动）
03-28
①马蜂窝景点的评论只能看到五页内容，因此按评论的主题对其进行爬取（虽然每个主题也只能看到五页，但爬取的结果总归是比五页多很多），爬取字段有景点评分、评论、评论日期。 ②以马蜂窝某景点为例，其评论高达3000多条，但这3000多条并非是完全向用户展示的，向用户展示的只有5页，数了一下每页15条评论，也就是75条评论，有点太少了吧！ ③因此想了个办法尽可能多爬取一些评论，根据我对爬虫爬取数据法律法规的相关了解，爬取看得到的数据是合法的，而在评论最开始的这个地方有对评论的分类，当然每个分类主题也是最多能看到5页内容，但是肯定会比我们被动的只爬取5页多很多内容，因此我们选择按主题分类去爬取评论。
Python爬取大众点评景点评论
坚强的泡沫的博客
07-16 4622
''' 大众点评-黄鹤楼评论： ①需要更改txt文本储存地址； ②更换配置中的cookie (两个cookie都一样)； ③更换自己需要爬取的店铺id; ''' import datetime import random import time import re import xlwt #写入xls表 from selenium.webdriver.chrome.options import Options from selenium import webdriver import pymongo fr
爬取马蜂窝旅游数据，包括酒店、美食、景点的评论数据以及游记数据（2021.6.28可用）
06-28
马蜂窝旅游数据，包括酒店、美食、景点的评论数据以及游记数据 仅用在输入目的地或者关键词可以爬取关于目的地的所有酒店评论、美食评论、以及景点自身评论等数据以及游记数据 具体数据 酒店评论、美食评论、以及景点自身评论： 评论用户、评论用户ID、用户等级、评论内容、评论有用性、评论时间等等 游记内容： 游记地址、浏览量、评论量、游记内容、游玩时间、游玩天数、同行人等等
基于python实现爬取携程景点数据与评论数据源码+项目说明.zip
08-10
基于python实现爬取携程景点数据与评论数据源码+项目说明.zip 基于python实现爬取携程景点数据与评论数据源码+项目说明.zip 基于python实现爬取携程景点数据与评论数据源码+项目说明.zip 1、该资源内项目代码都是...
基于python爬取携程旅游网站旅游景点数据及评论数据项目源码（python大作业）.zip
最新发布
06-22
基于python爬取携程旅游网站旅游景点数据及评论数据项目源码（python大作业）.zip基于python爬取携程旅游网站旅游景点数据及评论数据项目源码（python大作业）.zip基于python爬取携程旅游网站旅游景点数据及评论数据...
基于Python实现的携程机票数据爬取源码
03-25
项目概述：本项目采用Python语言开发，旨在实现对携程机票数据的爬取。整个项目由多个模块组成，包括HTML、CSS、JavaScript和Python等，共计82个文件。具体文件类型分布如下：HTML文档19个，Python脚本16个，CSS样式...
python爬取携程景区用户评论
彭于晏辽宁分晏的博客
05-17 4399
python爬取携程景区用户评论（爬虫时遇到翻页但url不变问题时的解决办法）python爬取携程景区用户评论Ajax页面加载的页面和普通页面的不同解决办法效果 python爬取携程景区用户评论 前两天想要爬取携程网上景区的用户评论，但是却发现用户评论在翻页时，网页的url却不变，这就造成我们无法用简单的request.get()访问其他页面获取内容了。经过查阅资料发现这是一个通过Ajax页面加载的页面。具体Ajax页面加载的页面是什么这里不加以解释，本文只关于如何爬取这样的网站。本文以黄鹤楼景区为例。携程
基于社交媒体的海南旅游景区评价数据集.zip
01-17
描述 本文从社交媒体收集并处理了2012-2018年海南所有4A、5A景区的点评数据，然后结合海南省旅游发展委员会公布的统计数据构建海南旅游景区评价数据集。该数据集用于海南旅游景区的质量评价和个性化推荐等。同时，我们也可以结合其他多源数据，为海南省旅游发展研究提供数据支持。 引用： 林振宇; 解吉波; 覃佐淼; 杨腾飞; 赵静. Evaluation data set for Hainan tourism scenic spots based on social media(V1). 2018. 2018-12-17. cstr:31253.11.sciencedb.714;
python爬虫获取携程旅游景点评分和评论
Anticlimax
02-01 7066
写在前面：酒店和旅游景点方式不同，不能用我的写法，如果获取酒店数据请参考：https://blog.csdn.net/qq_34774456/article/details/89885296 旅游景点代码（地址要用手机版的携程搜自己想搜的景点）： import urllib.request from bs4 import BeautifulSoup import pymysql.cursor...
python爬取携程景点评论信息
m0_43395986的博客
01-06 3848
python爬取携程景点评论信息 今天要分析的网站是携程网，获取景点的用户评论，评论信息通过json返回API，页面是这个样子的 按下F12之后，F5刷新一下 具体需要URL Request的方式为POST，还需要你提取的哪一页，下面图片显示了页面id，景点id(viewid),pagenum页面数，pagesize页面的项数等等。 最基本的GET请求可以直接用post方法 response...
python爬取景点信息_python 爬取马蜂窝景点翻页文字评论的实现
weixin_33419842的博客
02-10 376
使用Chrome、python3.7、requests库和VSCode进行爬取马蜂窝黄鹤楼的文字评论(http://www.mafengwo.cn/poi/5426285.html)。首先，我们复制一段评论，查看网页源代码，按Ctrl+F查找，发现没有找到评论，说明评论内容不在http://www.mafengwo.cn/poi/5426285.html页面。回到页面，划到评论列表，右键检查，选择...
scrapy爬取某网站景区评论爬虫
wen‘s blog
11-04 1273
step1.研究网页结构，每个景点有一个景区的超“链接”https://piao.ctrip.com/ticket/dest/t2286.html step2.链接到景区后，评论，在scrapy shell中不显示。推测应该是ajax等的发起的请求。 找到的地址是：https://sec-m.ctrip.com/restapi/soa2/12530/json/viewCommentList ...
【python】爬取驴妈妈景点评论信息：基于requests和BeautifulSoup库
weixin_45895411的博客
02-28 511
【代码】基于requests库对驴妈妈世界之窗整体信息的爬虫。
python 爬取亚马逊评论_python爬取携程景点评论信息
weixin_39963440的博客
12-19 125
今天要分析的网站是携程网，获取景点的用户评论，评论信息通过json返回API，页面是这个样子的按下F12之后，F5刷新一下具体需要URLRequest的方式为POST，还需要你提取的哪一页，下面图片显示了页面id，景点id(viewid),pagenum页面数，pagesize页面的项数等等。最基本的GET请求可以直接用post方法response = requests.post("http://...
python爬取携程旅行网景点评论
热门推荐
HYSliuliuliu的博客
10-26 1万+
爬取携程旅行网的景点评论数据，使用selenium爬取edge浏览器的网页文本数据。
爬取携程的5A旅游景点数据代码
05-25
以下是一个简单的 Python 爬虫示例，用于爬取携程网站上的 5A 级旅游景点数据： ```python import requests from bs4 import BeautifulSoup url = 'https://you.ctrip.com/sightseeing/china110000/s0-p1.html' # 携程5A级旅游景点首页 response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') sightseeing_list = soup.find_all('div', class_='list_mod2')[0].find_all('li') for sightseeing in sightseeing_list: sightseeing_name = sightseeing.find('div', class_='list_mod2_hd').find('h2').text.strip() sightseeing_address = sightseeing.find('div', class_='list_mod2_bd').find('p').text.strip() print('景点名称：', sightseeing_name) print('景点地址：', sightseeing_address) ``` 这段代码会爬取携程网站上第一页的 5A 级旅游景点数据，并输出每个景点的名称和地址。你可以根据自己的需求进行修改，比如爬取更多页的数据或是保存到文件中等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值