【RPA】为了运营小红书,我做了一个素材收集机器人

下面内容就是就给大家分享一下这个RPA应用,如果你也有相关的素材收集诉求,可以尝试一下,希望会对各位同学有所帮助。

效果演示

RPA应用是从小红书的官网https://www.xiaohongshu.com来采集爆文素材,需要提前登录你的小红书账号,然后再启动RPA。

img

如何获得

如果你对这款RPA机器人感兴趣,想要搜集小红书素材,让你的内容创作变得更加轻松高效,可以关注船长的公众号“船长笔迹”,并回复“小红书笔记”,获取影刀RPA工具分享链接。或者也可以扫描下方二维码加船长VX来获取。

img

RPA设计思路

下面是船长在设计实现这个RPA机器人的一些总结,如果你对于RPA机器人的设计与实现比较感兴趣,可以继续往下看。

数据来源:小红书目前的采集途径主要有小红书APP和小红书网站两个来源,但是考虑到如果从APP采集数据会比较麻烦一些,要么需要连接手机,要么需要下载模拟器,所以放弃这个途径改为从小红书网站来获取数据。

*RPA***工具:常规的RPA或自动化脚本应用都是可以用的,无论是影刀、UiBot、或是Automa、其他RPA应用都是可以的,自己熟悉就好。这里船长用的是影刀。

采集流程:完全模仿正常用户的操作流程。

  • 打开小红书网站(已登录状态)

img

  • 在上方的搜索框输入搜索关键字
  • 点击搜索按钮,延时几秒钟,等待搜索页面加载完成

img

  • 获取搜索结果列表,循环每一条图文笔记

img

  • 点击每一条图文笔记,获取封面、标题、笔记内容、笔记地址、点赞收藏数等等信息

img

  • 将获取到的信息作为一行数据写入Excel中

img

  • 等待图文采集完成,关闭保存Excel

设计难点

  • 小红书网页图文列表是动态变化的,会随着页面上下滚动而发生变化,不可以直接循环采集

解决思路:RPA工具对于这种动态加载的网站内容好像都没有太方便的解决方案,影刀也是如此。

因为网页会随着上下滚动不断变化,可能影刀获取到图文的标题是A,结果一滚动,页面动态加载了标题为B的图文,那么影刀还是按照之前标题A的图文去采集数据,那么就会报错,采集不到A的数据了。

为了解决这个问题,需要监控一个数据,那就是页面是否发生了动态加载。如果在采集数据时发现页面动态加载了,那么就需要重新获取一遍图文列表,取得动态加载后的页面数据再采集图文内容。

这里船长用于判断页面是否发生了动态加载的标准,是滚动条的位置。只要滚动条动了,那就重新抓取数据。

img

此外,重新抓取数据还会带来一个小问题,那就是可能产生重复数据,需要去重,这个问题大家可以自行探索解决。

  • 小红书笔记存在图文和视频两种形式,页面结构是不一致的,获取封面时该如何兼容处理?

解决思路:因为影刀中提供了直接编写JS和Python脚本的功能,所以这里船长直接使用了JS脚本直接获取封面的地址。

要使用JavaScript创建一个RPA机器人,您可以使用一些现有的JavaScript库和工具来模拟用户操作、与应用程序进行交互和执行自动化任务。以下是一些关键步骤: 1. 安装和设置Node.js环境:确保您的计算机上已安装Node.js运行时环境,以便在本地运行JavaScript代码。 2. 导入所需的依赖库:使用npm或其他包管理器导入所需的依赖库,例如`puppeteer`、`selenium-webdriver`等。这些库提供了与浏览器和其他应用程序进行交互的功能。 3. 编写代码来模拟用户操作:使用JavaScript编写代码来模拟用户在应用程序中执行的操作,例如点击按钮、填写表单、提交数据等。您可以使用DOM操作库(如`cheerio`)或浏览器自动化库(如`puppeteer`)来实现这些操作。 4. 处理数据和执行自动化任务:根据您的需求,您可以使用JavaScript编写代码来处理数据、执行自动化任务或与其他系统进行集成。例如,您可以使用`axios`库来发送HTTP请求,或者使用数据库库(如`mysql`)来读取和写入数据库。 5. 配置定时任务或事件触发:根据您的需求,您可以使用JavaScript编写代码来配置定时任务或事件触发机制,以便定期或在特定条件下执行自动化任务。 请注意,这只是一个简单的概述,并且实际的RPA机器人开发可能会更加复杂和具体化。此外,还有其他RPA工具和平台提供了更高级的功能和用户友好的界面,可以帮助您更轻松地创建和管理RPA机器人
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值