一、背景介绍
1.1 爬取目标
众所周知,小红书是国内最火热的种草社交平台,拥有海量的高品质用户,尤其以女性用户居多,相对于其他平台更具有消费能力。平台上的爆火笔记也成为众多媒体从业者的分析对象。于是,我用python开发了一个爬虫采集软件,可自动按笔记链接抓取笔记的详情数据,达到分析竞品笔记、仿写笔记提供了数据基础。
我用python开发了一个爬虫采集软件,可自动按笔记链接抓取笔记的详情数据。
为什么有了源码还开发界面软件呢?方便不懂编程代码的小白用户使用,无需安装python,无需改代码,双击打开即用!
软件界面截图:
·
爬取结果截图:
1.2 演示视频
软件使用演示:
【软件演示】爬小红书详情软件
1.3 软件说明
几点重要说明:
以上。
二、代码讲解
2.1 爬虫采集模块
首先,定义接口地址作为请求地址:
# 请求地址
url = 'https://edith.xiaohongshu.com/api/sns/web/v1/feed'
定义一个请求头,用于伪造浏览器:
# 请求头
h1 = {
'Accept': 'application/json, text/plain, */*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
'Content-Type': 'application/json;charset=UTF-8',
'Cookie': '换成自己的cookie值',
'Origin': 'https://www.xiaohongshu.com',
'Referer': 'https://www.xiaohongshu.com/',
'Sec-Ch-Ua': '"Microsoft Edge";v="119", "Chromium";v="119", "Not?A_Brand&