影刀RPA爬虫-采集微信读书

微信读书(WeChat Reading)是腾讯旗下的一款电子书阅读平台,依托微信社交生态,主打“社交化阅读”,提供海量正版书籍、听书、漫画等内容,并融合好友互动、书单分享、读书排行榜等社交功能。

1.采集分析

微信读书的反爬虫机制严格,采集微信读书的数据需要谨慎操作,避免违反其用户协议和版权法律,毕竟是大公司,有法务。

首先,系统页面对数据进行了保护,我们无法通过页面元素内容获取

通过url请求,也无法实现

同时页面也设置了断点,所以通过页面代码来获取元素,或是http请求,都很难实现

我们使用影刀RPA来解决这个问题,思路就是复制页面上的内容,选中内容后,弹出的菜单栏上有复制,我们复制后填写到文件中。

操作思维导图

2.采集代码

2.1 设置采集目录

设置存放书籍的文件夹地址,设置成全局变量,便于调用

2.2 搜索进入书籍

打开微信读书页面,需要提前登录,在首页搜索书籍名称,进入数据详情页

2.3 采集书籍

使用鼠标键盘指令,分别复制页面左右两端文本,保存到txt文件中,复制完当前页面,点击下一页继续复制。

2.4 写入文件

保存文本,每次到追加到文件末尾

对于付费的书籍,是无法采集全部的。所有在采集前,先确定好,该书籍是否可以正常打开

3.采集结果

视频演示

【影刀RPA-微信读书】https://www.bilibili.com/video/BV1izduYYEAq/?share_source=copy_web&vd_source=ebcf71d918bd39ab0a9fd61901182e06

4.最后

以上的采集思路仅供思考,学习使用

影刀RPA办公自动化入门到实战https://acnbxyhm60mi.feishu.cn/wiki/GOnpwWtMpit2MAkzDPzcro4VnPf

### 影刀RPA爬虫的集成及使用方法 影刀RPA作为一款强大的流程自动化工具,在实际业务场景中可以通过多种方式与爬虫技术相结合,从而实现更高效的数据获取和处理功能。以下是关于影刀RPA爬虫的具体集成或使用方法: #### 一、影刀RPA内置脚本支持 影刀RPA提供了对Python脚本的支持,这意味着可以直接在影刀的工作流中嵌入Python代码[^2]。通过这种方式,用户可以在RPA机器人运行过程中调用复杂的Python库(如`requests`、`BeautifulSoup`、`Scrapy`等),完成网页抓取、数据分析以及其他高级操作。 #### 二、具体应用场景实例 1. **小说章节提取并保存至本地文件** 用户可以借助影刀RPA模拟浏览器行为访问目标网站,并结合自定义编写的Python脚本来解析HTML页面结构,最终将所需的小说内容写入TXT文件中。 下面是一个简单的例子展示如何利用Python进行网络请求与数据清洗工作: ```python import requests from bs4 import BeautifulSoup url = 'http://example.com/novel' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') chapter_content = '' for paragraph in soup.find_all('p'): chapter_content += paragraph.get_text() + '\n' with open('./novel.txt', mode='a+', encoding='utf-8') as f: f.write(chapter_content) ``` 2. **大规模并发任务管理** 对于需要频繁交互或者涉及大量资源下载的任务来说,单独依靠影刀本身的点击拖拽动作可能会显得力不从心。此时就可以考虑引入多线程或多进程机制进一步提升性能表现[^1]。例如下面这段伪代码展示了如何创建多个子线程分别负责不同URL地址的内容读取过程: ```python import threading import time def fetch_data(thread_id, urls_chunk): results = [] for idx, url in enumerate(urls_chunk): result = some_function_to_fetch_url(url) print(f'Thread {thread_id} processed item #{idx}') results.append(result) return results threads_num = 5 all_urls = [...] # List of URLs to process chunk_size = int(len(all_urls)/threads_num)+1 chunks = [all_urls[i:i + chunk_size] for i in range(0, len(all_urls), chunk_size)] thread_pool = [] final_results = [] start_time = time.time() for tid in range(threads_num): t = threading.Thread(target=fetch_data, args=(tid,chunks[tid])) thread_pool.append(t) t.start() for thd in thread_pool: thd.join() end_time = time.time()-start_time print("Total execution took",end_time,"seconds.") ``` #### 三、注意事项 尽管影刀RPA能够很好地满足日常办公需求,但在某些特定领域仍存在局限性。比如当面对动态加载型站点时,仅靠传统的DOM分析手段往往难以奏效;这时就需要额外安装像Selenium这样的第三方扩展插件来辅助解决此类难题。 另外值得注意的是,随着人工智能技术的发展进步,越来越多的企业开始尝试融合RPA技术和大型预训练语言模型构建更加智能化的应用程序[^3]。这种趋势无疑也为未来影刀平台的功能拓展指明了一个重要方向——即不仅仅局限于重复机械式的事务处理范畴,而是逐步向认知计算层面迈进。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微刻时光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值