根据景区关键词爬取捷程的景区评论的方法

最新推荐文章于 2024-07-13 10:40:22 发布
最新推荐文章于 2024-07-13 10:40:22 发布
阅读量288 收藏 1
点赞数 12
文章标签： 爬虫 python 旅游
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63215286/article/details/133798030
版权

最近为了完成作业，做了一个小旅游网站

其中我希望能在展示景区介绍的时候，顺便展示景区的评论，这就需要找到捷程或是其他旅游网站的api。但是找了许久没能如愿。这下不得不爬了（bushi)

在找api的过程中发现了一篇文章python爬取携程景点评论信息 - 知乎 (zhihu.com)

其中有一个神秘的接口

postUrl = "https://sec-m.ctrip.com/restapi/soa2/12530/json/viewCommentList"

按照他的请求方法，可以获得如下这么一坨

{'ResponseStatus': {'Timestamp': '/Date(1697024577621+0800)/', 'Ack': 'Success', 'Errors': [], 'Build': None, 'Version': None, 'Extension': [{'Id': 'CLOGGING_TRACE_ID', 'Version': None, 'ContentType': None, 'Value': '6433706856160040933'}, {'Id': 'RootMessageId', 'Version': None, 'ContentType': None, 'Value': '100025527-0a70c344-471395-1620854'}]}, 'head': {'auth': '', 'errcode': 0, 'errmsg': ''}, 'data': {'cmtquantity': 31945, 'cmtscore': 4.5, 'totalpage': 624, 'recompct': '96%推荐', 'stscs': [{'tagid': -21, 'count': 0, 'desc': '带图', 'moodtype': 0, 'location': 'tab'}, {'tagid': -12, 'count': 1121, 'desc': '低分', 'moodtype': 0, 'location': 'tab'}, {'tagid': -250, 'count': 31195, 'desc': '最近出行', 'moodtype': 0, 'location': 'tab'}, {'tagid': -22, 'count': 17392, 'desc': '消费后评价', 'moodtype': 0, 'location': 'tag'}], 'comments': [{'id': 177804171, 'uid': '芳菲旅游达人', 'userImage': 'https://dimg04.c-ctrip.com/images/0Z84412000bqxlgsx5457_C_180_180.jpg', 'title': '', 'content': '羊城广州，既是岭南文化的发源地，也是美食天堂。在这座城市，你将感受到独特的南国风情，品味各种地道的美食。\n第一天：感受广州历史文化\n从广州白云国际机场或广州火车站出发，乘坐地铁或出租车前往市区。\n首先游览广州地标建筑——广州塔。在此欣赏到广州全景，领略珠江两岸风光。\n门票攻略：广州塔观景台，150元/人。\n中午，品尝广州特色美食——点心，如虾饺、烧卖、肠粉等，尽享广州的美食盛宴。\n下午，游览陈家祠，感受岭南建筑的魅力，欣赏精美的石雕、木雕、砖雕。门票攻略：陈家祠，15元/人。\n晚餐，品尝地道的广州烧烤，享受美味的夜宵。\n入住市区的酒店，广州的住宿选择丰富，有五星级酒店、经济型酒店、民宿等，总有一款适合你。\n第二天：探访岭南文化与自然景观\n上午，游览白云山，领略自然风光。漫步山间小道，欣赏蓝天白云，清新空气。门票攻略：白云山，5元/人。。', 'date': '2023-07-29 22:35', 'score': '5', 'isselect': False, 'simgs': [], 'videos': [], 'replyeditor': None, 'reply': None, 'usecount': 18, 'sourcetype': 0, 'playdate': '', 'keywordlist': None, 'cmttype': 'others', 'commentOrderInfo': '', 'commenter': False, 'memberLevel': 0, 'memberName': '普通会员', 'sightStar': 5, 'interestStar': 5, 'costPerformanceStar': 5},], 'abtests': []}}

分析response发现里面有content和uid，足够我们的景区评论功能使用了，接下来就是把这个接口用在我们的代码里。

首先，原文章的景区id是直接在网页里找的，如下

在这里插入图片描述
在这里插入图片描述

显然，这不符合我的接口的要求，需要实现根据关键词来获取景区id

打开捷程官网首页，F12查看“网络”，输入一个景点的名字，可以发现有一个search的任务，点击打开响应，可以发现我们需要的景区id就在这里

在这里插入图片描述

再分别打开标头和负载，就可以找到请求的形式，接下来就很简单了

在这里插入图片描述
在这里插入图片描述

根据上面的标头和负载的形式，写一个请求，来获取景区的id

（传入关键词）

\# 获取关键字参数
keyword = sys.argv[1]

CodeUrl = "https://m.ctrip.com/restapi/soa2/26872/search"

codedata = {
    "action": "online",
    "source": "globalonline",
    "keyword": keyword
}

response = requests.post(CodeUrl, data=json.dumps(codedata)).text
data_dict = json.loads(response)
\# 获取第一个元素的"id"字段的值
id_value = data_dict['data'][0]['id']

得到了景区的id，就可以仿照前面那篇文章写的，去获取景区的评论

postUrl = "https://sec-m.ctrip.com/restapi/soa2/12530/json/viewCommentList"

data_1 = {
    "pageid": "10650000804",
    "viewid": id_value,
    "tagid": "0",
    "pagenum": "1",
    "pagesize": "50",
    "contentType": "json",
    "SortType": "1",
    "head": {
        "appid": "100013776",
        "cid": "09031037211035410190",
        "ctok": "",
        "cver": "1.0",
        "lang": "01",
        "sid": "8888",
        "syscode": "09",
        "auth": "",
        "extension": [
            {
                "name": "protocal",
                "value": "https"
            }
        ]
    },
    "ver": "7.10.3.0319180000"
}

html = requests.post(postUrl, data=json.dumps(data_1)).text
html = json.loads(html)

这样就把返回的内容存到了html中，解析html，把uid和评论保存在数组中

# 初始化一个空数组，用于存储JSON对象
result_array = []

html1 = requests.post(postUrl, data=json.dumps(data_1)).text
html1 = json.loads(html1)

comments = html1['data']['comments']
for i in comments:
    name = i['uid']
    content = i['content']
    content = re.sub(" ", "", content)

     \# 创建一个包含name和content字段的JSON对象
     comment_obj = {"name": name, "content": content}
     \# 将JSON对象添加到结果数组中
     result_array.append(comment_obj)

     \# 将结果数组输出为JSON格式
result_json = json.dumps(result_array)

print(result_json)

到此，就实现了根据景区关键词爬取捷程的景区评论的功能

可以使用下面这个接口获取景区的评价

在这里插入图片描述

// 不过我只爬取了一页的评论，因为一页的评论已经足够我使用了

完整代码：

# -*- coding: utf-8 -*-
import re
import requests
import json
import sys

# 获取关键字参数
keyword = sys.argv[1]

try:
    CodeUrl = "https://m.ctrip.com/restapi/soa2/26872/search"

    codedata = {
        "action": "online",
        "source": "globalonline",
        "keyword": keyword
    }

    response = requests.post(CodeUrl, data=json.dumps(codedata)).text
    data_dict = json.loads(response)
    # 获取第一个元素的"id"字段的值
    id_value = data_dict['data'][0]['id']

    head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0'}

    postUrl = "https://sec-m.ctrip.com/restapi/soa2/12530/json/viewCommentList"

    data_1 = {
        "pageid": "10650000804",
        "viewid": id_value,
        "tagid": "0",
        "pagenum": "1",
        "pagesize": "50",
        "contentType": "json",
        "SortType": "1",
        "head": {
            "appid": "100013776",
            "cid": "09031037211035410190",
            "ctok": "",
            "cver": "1.0",
            "lang": "01",
            "sid": "8888",
            "syscode": "09",
            "auth": "",
            "extension": [
                {
                    "name": "protocal",
                    "value": "https"
                }
            ]
        },
        "ver": "7.10.3.0319180000"
    }

    html = requests.post(postUrl, data=json.dumps(data_1)).text
    html = json.loads(html)

    # 初始化一个空数组，用于存储JSON对象
    result_array = []

    html1 = requests.post(postUrl, data=json.dumps(data_1)).text
    html1 = json.loads(html1)

    comments = html1['data']['comments']
    for i in comments:
        name = i['uid']
        content = i['content']
        content = re.sub(" ", "", content)

        # 创建一个包含name和content字段的JSON对象
        comment_obj = {"name": name, "content": content}
        # 将JSON对象添加到结果数组中
        result_array.append(comment_obj)

        # 将结果数组输出为JSON格式
    result_json = json.dumps(result_array)

    print(result_json)

except requests.exceptions.RequestException as e:
    print(f"连接失败，错误信息：{str(e)}")
except json.JSONDecodeError as e:
    print(f"JSON解析错误，错误信息：{str(e)}")
except Exception as e:
    print(f"发生错误，错误信息：{str(e)}")

下面是爬取全部景区第一页评论的代码（也可以稍加修改改成全部页）

不过有一个缺陷，神秘接口很鸡贼的没有在返回中加上景区的中文名，爬下来的也只有景区id，没有使用价值

# 第一个编号是227还是228来着  捷程的景区编号位数长短不一，姑且写个200000000
for n in range(227,200000000):

     data_1 = {
         "pageid": "10650000804",
         "viewid": n,
         "tagid": "0",
         "pagenum": "1",  # 修改为只获取第一页的评论
         "pagesize": "50",
         "contentType": "json",
         "SortType": "1",
         "head": {
             "appid": "100013776",
             "cid": "09031037211035410190",
             "ctok": "",
             "cver": "1.0",
             "lang": "01",
             "sid": "8888",
             "syscode": "09",
             "auth": "",
             "extension": [
                 {
                     "name": "protocal",
                    "value": "https"
                }
            ]
		},
         "ver": "7.10.3.0319180000"
     }

     try:
         html = requests.post(postUrl, data=json.dumps(data_1)).text
         html = json.loads(html)
         \# comments = html['data']['comments']

         IDs = []
         names = []
         scores = []
         contents = []
         times1 = []

         print(f'正在抓取 id={n}')  # 显示正在抓取的n的值
         html1 = requests.post(postUrl, data=json.dumps(data_1)).text
         html1 = json.loads(html1)
         print(html1)
         comments = html1['data']['comments']
         for i in comments:
              name = i['uid']
             content = i['content']
             content = re.sub(" ", "", content)

             time1 = i['date']
             names.append(name)
             contents.append(content)

             print(name, content)

         if n == 0:
             mode = 'w'
         else:
             mode = 'a'

         pf = pd.DataFrame({'n': n,  'names': names, 'contents': contents})
         pf.to_csv("pinglun.csv", encoding="utf-8-sig", header=False, index=False, mode=mode)
     except Exception as e:
         print(f"连接失败，错误信息：{str(e)}")
         continue
litianlololo
关注
  • 12
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【大众点评评论爬虫】一键获取大众点评完整评论工具批量爬取保存为excel数据
白驹
01-28 6981
大众点评评论采集工具软件特性使用流程填入cookie获取抓取地址获取网页cookie软件下载地址 声明：请勿将软件用于商业用途，仅供学习交流使用 软件特性 输入商家地址获取完整评论 根据指定页数采集 一键导出excel文件 使用流程 填入cookie 运行前，将获取到的cookie填入并保存，文件夹内的cookie.txt文件，获取教程在文章末尾 获取抓取地址 我们以下面这家店铺为例子 获取网页cookie 软件下载地址 ...
爬虫入门经典(二十一) | 破解CSS加密之爬取大众点评
热门推荐
不温卜火
11-18 8万+
  大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只在csdn这一个平台进行更新，博客主页：https://buwenbuhuo.blog.csdn.net/。 PS：由于现在越来越多的人未经本人同意直接爬取博主本人.
python爬虫根据景区关键词爬取捷程旅游景区评论
Everly_的博客
04-28 644
最近为了完成作业，做了一个小旅游网站其中我希望能在展示景区介绍的时候，顺便展示景区的评论，这就需要找到捷程或是其他旅游网站的api。但是找了许久没能如愿。这下不得不爬了（bushi)在找api的过程中发现了一篇文章python爬取携程景点评论信息其中有一个神秘的接口按照他的请求方法，可以获得如下这么一坨分析response发现里面有content和uid，足够我们的景区评论功能使用了，接下来就是把这个接口用在我们的代码里。首先，原文章的景区id是直接在网页里找的，如下。
基于python实现爬取携程景点数据与评论数据源码+项目说明.zip
08-10
评论内容的爬取有两种方法： 将`config.ini`中的`isCrawlComment`置为1，运行`poi_crawl.py`文件，在爬取 景点数据 的过程中爬取 评论数据 将`config.ini`中的`isCrawlComment`置为0，运行`poi_crawl.py`文件，...
python 爬取马蜂窝景点翻页文字评论的实现
09-18
本教程主要讲解如何使用Python爬取马蜂窝网站上的景点翻页文字评论，这可以帮助我们了解网络爬虫的基本工作原理和实战技巧。 首先，我们需要确定目标网页。在本例中，我们关注的是马蜂窝上关于黄鹤楼的评论，页面...
教你用python3根据关键词爬取百度百科的内容
12-25
这里设定的需求是爬取北京地区n个景点的全部信息，n个景点的名称是在文件中给出的。没有用到api，只是单纯的爬网页信息。  1、根据关键字获取url 由于只需要爬取信息，而且不涉及交互，可以使用简单的方法而不需要...
Python爬虫爬取马蜂窝旅游景点评分、评论、评论日期（针对只能爬取五页评论做了改动）
03-28
①马蜂窝景点的评论只能看到五页内容，因此按评论的主题对其进行爬取（虽然每个主题也只能看到五页，但爬取的结果总归是比五页多很多），爬取字段有景点评分、评论、评论日期。...因此我们选择按主题分类去爬取评论。
Python应用爬虫下载QQ音乐歌曲！
Python_trys的博客
07-12 1493
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970。
Python 爬虫与 Java 爬虫：相似之处、不同之处和选项
Ssm2022的博客
07-10 565
在信息时代，网络上可用的数据量巨大且不断增长。为了从这些数据中提取有用的信息，爬虫已成为一种重要的技术。Python 和 Java 都是流行的编程语言，都具有强大的爬虫功能。本文将深入探讨 Python 爬虫和 Java 爬虫之间的差异，以帮助您在选择适合您需求的语言时做出明智的决定。
python爬虫之scrapy基于管道持久化存储操作
qq_55829395的博客
07-09 612
python爬虫之scrapy基于管道持久化存储操作
如何构建数据驱动的企业？爬虫管理平台是关键桥梁吗？
zhou6343178的博客
07-09 1279
在当今数字化转型的浪潮中，企业如何才能在海量数据中挖掘金矿？爬虫管理平台作为数据采集的利器，正逐渐成为搭建数据驱动型企业的重要桥梁。本文将深入探讨这一平台如何助力企业高效、稳定地收集互联网信息，通过实际案例分析其价值，并提供实用建议，帮助企业架设通往数据智能的快速通道。
挑战杯 python 爬虫与协同过滤的新闻推荐系统
laafeer的博客
07-12 823
🧿。
Python虚拟环境数据共享技术解析：最佳实践与常见误区
ip16yun的博客
07-11 509
在现代数据驱动的世界中，网络爬虫成为了收集和分析数据的重要工具。Python由于其强大的库和社区支持，是实现网络爬虫的首选语言。然而，在开发爬虫过程中，使用虚拟环境管理依赖关系是最佳实践之一。本文将解析如何在Python虚拟环境中共享数据，介绍最佳实践，并探讨常见的误区。我们将以一个实际示例来演示如何使用Python爬虫采集微博数据，并使用代理IP技术进行数据采集。Python虚拟环境允许开发者为每个项目创建独立的Python环境，避免不同项目之间的依赖冲突。通过使用venv或virtualenv。
代理IP池：解析与应用
2401_84618491的博客
07-11 527
IP代理池固然好，但是在使用代理IP池时，还要注意合法性和道德性，避免用于非法活动或侵犯他人权益的行为。现代技术还在不断发展，代理IP池的应用场景和技术实现也会继续扩展和完善，这样就可以满足更多人对于IP代理的需求。然后将验证通过的IP地址存储到集中管理的数据库中，形成代理IP池；有了代理IP池，用户能够隐藏使用它隐藏自己真实的IP地址，提升网络安全性和隐私保护，有效应对各种复杂的网络环境和限制条件。代理IP池就是由多个代理IP地址组成的集合，用于实现更高效的网络访问和数据获取。下面简单介绍一下吧！
认知偏差知识手册
最新发布
2401_85325557的博客
07-13 342
The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。
AI网络爬虫023：用deepseek批量提取天工AI的智能体数据
LuckyHanMo的博客
07-12 302
天工AI的智能体首页：F12查看真实网址和响应数据：翻页规律："data": {"name": "假如科比参加欧洲杯","message": "我们的牢大回来了，他参加了欧洲杯，面临巨大挑战，运用你的智慧帮助牢大获得欧洲杯冠军吧！","hot": 0,"生活娱乐"],"name": "假如科比参加欧洲杯"},}, AI网络爬虫023：用deepseek批量提取天工AI的智能体数据
写一个“Scrapy微博爬虫-根据关键词爬取相关微博帖子信息”的封装好的python代码
03-30
抱歉，我是AI语言模型，无法提供封装好的python代码，但是我可以提供Scrapy微博爬虫的基本思路和代码示例： Scrapy微博爬虫的基本思路： 1. 登录微博 2. 根据关键词搜索微博，获取微博列表 3. 遍历微博列表，提取微博的相关信息，如微博ID、微博内容、发布时间、点赞数、转发数、评论数、作者信息等 4. 如果有下一页，则继续爬取下一页的微博列表，重复2-3步骤 5. 将提取的微博信息保存到本地或远程数据库中 Scrapy微博爬虫的代码示例： 1. 在命令行中创建一个Scrapy项目： scrapy startproject weibo 2. 在weibo/spiders目录下创建一个名为weibospider.py的爬虫文件： import scrapy from scrapy.http import Request class WeiboSpider(scrapy.Spider): name = "weibo" allowed_domains = ["weibo.com"] start_urls = [ "https://weibo.com/" ] def start_requests(self): login_url = 'https://login.weibo.cn/login/' yield Request(url=login_url, callback=self.login) def login(self, response): # 在这里实现微博登录的逻辑 # ... # 登录成功后，调用parse方法开始爬取微博 yield Request(url=self.start_urls[0], callback=self.parse) def parse(self, response): # 在这里实现根据关键词搜索微博的逻辑 # 从搜索结果页面获取微博列表 # ... # 遍历微博列表，提取微博的相关信息 for weibo in weibo_list: weibo_id = weibo.get('id') weibo_content = weibo.get('content') publish_time = weibo.get('publish_time') likes = weibo.get('likes') reposts = weibo.get('reposts') comments = weibo.get('comments') author = weibo.get('author') # 将提取的微博信息保存到本地或远程数据库中 # ... # 如果有下一页，则继续爬取下一页的微博列表 next_page = response.xpath('//a[text()="下一页"]/@href').extract_first() if next_page: yield Request(url=next_page, callback=self.parse) 3. 在命令行中运行爬虫： scrapy crawl weibo 以上是一个简单的Scrapy微博爬虫示例，具体实现需要根据实际情况进行调整和完善。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值