使用Python爬取小红书笔记与评论（仅供学习交流）_python爬取小红书关键词所有笔记评论(1)

最新推荐文章于 2024-09-06 23:19:46 发布
最新推荐文章于 2024-09-06 23:19:46 发布
阅读量1k 收藏 17
点赞数 18
分类专栏： 程序员 文章标签： python 笔记 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83817171/article/details/137551433
版权
本文介绍了如何使用Python通过JS注入获取小红书的加密参数，包括x-s、x-t，以进行笔记和评论的爬取。作者分享了使用Playwright和pyppeteer的代码示例，并强调了爬虫工程化的后续步骤。
摘要由CSDN通过智能技术生成

【🏠作者主页】：吴秋霖
【💼作者介绍】：擅长爬虫与JS加密逆向分析！Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚守并致力于Python与爬虫领域研究与开发工作！
【🌟作者推荐】：对爬虫领域以及JS逆向分析感兴趣的朋友可以关注《爬虫JS逆向实战》《深耕爬虫领域》
未来作者会持续更新所用到、学到、看到的技术知识！包括但不限于：各类验证码突防、爬虫APP与JS逆向分析、RPA自动化、分布式爬虫、Python领域等相关文章

作者声明：文章仅供学习交流与参考！严禁用于任何商业与非法用途！否则由此产生的一切后果均与作者无关！如有侵权，请联系作者本人进行删除！

1. 写在前面

除了通过对X-s、X-s-c参数进行分析还原加密算法，还有之前文章中提到的通过JS注入免扣加密算法的方式获取加密参数，进行数据的抓取！此前，作者也是尝试过封装过以下API的功能：

最低0.47元/天 解锁文章
2401_83817171
关注
专栏目录
100天精通Python丨黑科技篇 —— 21、大语言模型_100天精通python快速入门到黑科技
m0_60452141的博客
04-26 635
ChatGPT 是 OpenAI 推出的一种基于 GPT-3/4 的聊天机器人。chatgpt 的颠覆性影响主要体现在提高语言交流的便捷性、个性化服务、自动化客服和教育娱乐等方面，这些应用可以为用户带来更多的便利和乐趣，同时也为企业提供了更多的服务和商机。本文收录于，是由的硬核博主倾力打造，分基础知识篇和黑科技应用两大部分，欢迎订阅本专栏，订阅后可私聊进Python全栈VIP交流群（问题解答、互相帮助）还可领取20GPython视频和100本互联网行业电子书。
【GUI软件】小红书评论采集：自动采集10000多条，含二级评论！v4.0版
马哥小迷弟的博客
01-19 1262
小红书评论采集软件。
学了那么久Python还什么都做不了，我觉得你该试试这个方法了
热门推荐
龙叔的博客
11-08 1万+
答应我，别再做无用功了
小红书笔记评论采集全攻略：三种高效方法教你批量导出
zhou6343178的博客
07-29 1653
本文将深入探讨如何利用Python高效采集小红书平台上的笔记评论，通过三种实战策略，手把手教你实现批量数据导出。无论是市场分析、竞品监测还是用户反馈收集，这些技巧都将为你解锁新效率。
python 爬取小红书
weixin_52019286的博客
07-16 300
明确采集的网站及数据内容。
【小红书采集软件】根据关键词批量爬取小红书笔记正文、笔记链接、发布时间、转评赞藏等
python死忠3016的博客
05-11 2535
现在介绍的这个软件，相当于以上2个软件的结合版，即根据关键词爬取笔记的详情数据。开发界面软件的目的：方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！软件界面截图：爬取结果截图：结果截图1：结果截图2：结果截图3：以上。
探索小红书数据宝藏：全面解析xhs-小红书数据采集Python算法库
最新发布
gitblog_09742的博客
09-06 453
探索小红书数据宝藏：全面解析xhs-小红书数据采集Python算法库 xhs-master.zip项目地址:https://gitcode.com/open-source-toolkit/de267 在这个信息爆炸的时代，数据就是宝藏。而小红书，作为一个集社交、种草于一体的内容平台，其丰富的数据更是引人瞩目。今天，我们将深入探讨一个强大的工具——xhs-小红书数据采集Python算法还原，带你揭...
小红书爬虫GUI软件 | API接口封装 | 根据关键词爬笔记
python死忠3016的博客
05-04 943
小红书指定关键词采集笔记数据。
xiaohongshuSpider_python爬虫_python小红书_python
09-11
python，小红书数据爬取工具，使用selenium打开页面，beautifulsoup分析html
python爬虫实战——小红书_python小红书爬虫
2401_83704159的博客
04-13 790
每一个线程遍历自己分配到的作品列表，进行逐项处理 def thread_task(ul): for item in ul: href = item[0] is_pictures = (True if item[1] == 0 else False) res = work_task(href, is_pictures) if res == 0: # 被阻止正常访问 break 处理每一项作品 def work_task(href, is_pictures): # href 中最后的一个路径参数就
【小红书运营】评论区及私信自动回复脚本
12-11
特点：简单、容易使用。 帮助运营人员将客户从小红书引流到微信等APP。代码可以识别不同的消息回复不同内容，随机引流到不同运营微信。 环境：python3.10、edge浏览器、电脑或服务器一台 ## 1. 找到 msedge.exe 我的是在 C:\Program Files (x86)\Microsoft\Edge\Application 每个人电脑放的位置可能不一样 ## 2. 在这里输入 cmd，然后回车 ## 3. 此时会出现一个黑框框。 复制： msedge.exe --remote-debugging-port=9527 --user-data-dir="C:\Users\selenium\AutomationProfile\msedge 粘贴到黑框框，然后回车。 4. 在弹出的浏览器输入小红书评论区回复链接： https://www.xiaohongshu.com/explore 然后登录账号。 5. 点通知，跳到此页
11-Python爬虫工程师-App抓取进阶
03-05
Python工程师-APP实战思维导图，便捷整理思路，目标任务，SSL Pinning技术和Xposed框架，多任务端
python根据小红书关键词爬取所有笔记评论
03-16
python根据小红书关键词爬取所有笔记评论，收集关键词热点，自动化采集数据工具。全源码交付，有教程说明。python爬取小红书搜索关键词下面的所有笔记的评论，情感分析、绘制词云图、词频分析、数据分析。
python爬取小红书用户所有笔记数据
03-16
本项目名为"python爬取小红书用户所有笔记数据"，它提供了从社交媒体平台小红书获取用户发布的所有笔记数据的完整源码，这对于新媒体自动化工具的开发以及数据分析具有很高的价值。 首先，我们需要了解Python爬虫的...
Python爬虫实战(实战篇)—18获取【小红书】首页信息写入Excel(仅用于学习-附完整版代码)
weixin_42636075的博客
06-13 2752
Python爬虫实战(实战篇)—18获取【小红书】首页信息写入Excel(仅用于学习-附完整版代码)
Python实战：爬取小红书评论并进行情感分析
weixin_52721112的博客
04-15 3778
在这篇博客中，我们将探讨如何使用Python爬取小红书的评论数据，并使用朴素贝叶斯分类器进行情感分析。本教程将涵盖从数据采集到模型训练和预测的完整流程。
2024版小红书评论区采集工具软件，可完整批量抓取一级评论和二级评论！
weixin_69463445的博客
05-31 1903
小红书是众多客户的流量蓝海，可通过评论区数据高效引流获客。我用python开发的爬虫采集软件，可自动抓取小红书评论数据，并且含二级评论数据。为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！通过把已有代码部分封装成class类，供tkinter界面调用。好的日志功能，方便软件运行出问题后快速定位原因，修复bug。不懂编程代码的小白可直接看演示视频，忽略代码部分！软件界面采用tkinter开发。
用python爬取小红书平台数据的代码
05-12
以下是一个简单的 Python 爬虫示例，可以用于爬取小红书平台的数据。请注意，这个代码仅作为学习参考，未经小红书官方许可不得用于商业用途。 ```python import requests import json headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} def get_data(pageNum): url = 'https://www.xiaohongshu.com/fe_api/burdock/weixin/v2/search/notes' params = { 'sort': 'general', 'keyword': '化妆品', 'page': pageNum, 'pageSize': 20, 'needGifCover': 'false', 'platform': 'all' } response = requests.get(url, params=params, headers=headers) json_data = json.loads(response.text) return json_data if __name__ == '__main__': for i in range(1, 5): data = get_data(i) for item in data['data']: print(item['title']) ``` 上面的代码使用 requests 库发送 HTTP 请求，并使用 json 库解析响应数据。其中，`get_data` 函数接受一个参数 `pageNum`，表示要获取的页码。该函数构造了一个 HTTP GET 请求，并使用 requests 库发送请求。请求参数包括排序方式、关键词、页码、每页大小、是否需要 GIF 封面以及平台类型。请求成功后，调用 json.loads() 将响应数据转换为 Python 字典对象。 在主函数中，我们循环调用 `get_data` 函数，获取前 4 页的数据。对于每一页的数据，我们遍历其中的每一条笔记，打印出标题。当然，你可以根据自己的需求对数据进行存储或其他处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值