影刀RPA爬虫-采集微信读书

微信读书(WeChat Reading)是腾讯旗下的一款电子书阅读平台,依托微信社交生态,主打“社交化阅读”,提供海量正版书籍、听书、漫画等内容,并融合好友互动、书单分享、读书排行榜等社交功能。

1.采集分析

微信读书的反爬虫机制严格,采集微信读书的数据需要谨慎操作,避免违反其用户协议和版权法律,毕竟是大公司,有法务。

首先,系统页面对数据进行了保护,我们无法通过页面元素内容获取

通过url请求,也无法实现

同时页面也设置了断点,所以通过页面代码来获取元素,或是http请求,都很难实现

我们使用影刀RPA来解决这个问题,思路就是复制页面上的内容,选中内容后,弹出的菜单栏上有复制,我们复制后填写到文件中。

操作思维导图

2.采集代码

2.1 设置采集目录

设置存放书籍的文件夹地址,设置成全局变量,便于调用

2.2 搜索进入书籍

打开微信读书页面,需要提前登录,在首页搜索书籍名称,进入数据详情页

2.3 采集书籍

使用鼠标键盘指令,分别复制页面左右两端文本,保存到txt文件中,复制完当前页面,点击下一页继续复制。

2.4 写入文件

保存文本,每次到追加到文件末尾

对于付费的书籍,是无法采集全部的。所有在采集前,先确定好,该书籍是否可以正常打开

3.采集结果

视频演示

【影刀RPA-微信读书】https://www.bilibili.com/video/BV1izduYYEAq/?share_source=copy_web&vd_source=ebcf71d918bd39ab0a9fd61901182e06

4.最后

以上的采集思路仅供思考,学习使用

影刀RPA办公自动化入门到实战https://acnbxyhm60mi.feishu.cn/wiki/GOnpwWtMpit2MAkzDPzcro4VnPf

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微刻时光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值