PulsarRPA - 适用于网络爬虫和 AI agents 的高性能分布式 RPA

最新推荐文章于 2024-06-02 19:30:17 发布
最新推荐文章于 2024-06-02 19:30:17 发布
阅读量638 收藏 8
点赞数 6
文章标签： 网络爬虫 大数据 数据挖掘 rpa 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48738961/article/details/135700524
版权

视频介绍了如何使用 PulsarRPA，来完整精确地采集和管理最复杂的电商数据。

我们以 Amazon 为例，为了展示我们解决的是 Amazon 全球站点的问题，而不单单是个别网站的问题，我们就以 Amazon 英国站为例。

PulsarRPA - 适用于网络爬虫和 AI agents 的高性能分布式 RPA

PulsarRPA 同时打开很多个商品页面，滚动到页面底部，确保所有信息均完整呈现。

尤其值得注意的是，PulsarRPA 执行了一个高难度动作：点击打开 seller 信息面板，同 seller 信息面板交互，等待 seller 信息完整加载。

和其他 RPA 不同的是，PulsarRPA 的性能非常高，这就意味着成本非常低，一台普通机器，每天访问十万、几十万网页，采集数千万、上亿数据点，毫无压力。

PulsarRPA 也包含了一系列其他黑科技，包括使用监督学习、无监督学习技术自动提取大批量网站，我们将在其他视频中介绍。

这里 PulsarRPA 是打开了4套浏览器，每一套浏览器都代表了一个独立的用户去访问网站，每个用户又同时打开了很多个页面。

如果我们有大量的网页需要采集或者监控，那么同时打开成千上万个网页，也是很正常的事情。

为了演示效果，让大家看到PulsarRPA访问每一个网页的具体过程，我们让chrome浏览器显示了图像化界面。

在生产环境中，我们也可以不显示浏览器的图像化界面，从而节约系统资源，提高系统性能，降低总体成本。

从日志中可以看到，在这台机器上，系统性能大致是每秒钟两个网页。

由于每天有86,400秒，按照这个速度，一台机器每天大约可以采集17万个网页。

咱们的高性能分布式RPA在网页上执行了交互动作，保证了所有字段均完整呈现在页面上，每个页面会有100~200个高价值字段被提取出来。因此一台机器一天就可以采集1700万到3400万个字段，并且存入数据库。

如果考虑到详情页上的评论信息，这个数据将会更加庞大。

现在我们看一下数据提取结果。默认情况下，所有数据均保存到了数据库。同时，为了我们方便查看，也保存了一小部分到文件系统中，可以直接打开。

除了高性能分布式网上冲浪外，PulsarRPA也提供了一系列其他黑科技。

基于无监督学习的自动网页提取，和网页理解技术，来提取超大规模网页数据，或者支持 AI agents准确识别网页元素。

基于监督学习的网页提取技术，适用于大批量不同的网站进行数据提取，一次训练，永久有效。

欢迎关注 platon.ai 的其他视频和资料。

PlatonAI
关注
  • 6
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DQN-using-PyTorch和ML-Agents：如何使用PyTorch和ML-Agents环境实现基于矢量的DQN的简单示例
02-06
使用PyTorch和Unity ML-Agent进行深度Q网络（DQN）强化学习一个简单的示例，说明如何使用PyTorch和ML-Agents环境实现基于矢量的DQN。 深度强化学习（DRL）中的Udacity Danaodgree项目该存储库包含以下与DQN相关的...
rl-agents:强化学习和计划算法的实现
05-14
rl代理强化学习代理的集合规划蒙特卡洛树搜索安全规划基于价值深度Q网络拟合Q 基于安全值预算拟合Q 引用 安装pip install --user git+https://github.com/eleurent/rl-agents 用法大多数实验都可以从scripts/...
PulsarRPA 教程 1 - 基本用法
weixin_48738961的博客
10-31 1307
PulsarRPA 正确实现了两个方法：加载网页，提取数据。为了实现这个目标，PulsarRPA 增删近百万行代码，沉淀数十万行代码，开发了一系列尖端技术。PulsarRPA 实现网络即数据库范式，像对待内部数据库一样对待外部网络，如果需要的数据不在本地存储中，或者现存版本不满足分析需要，则系统会从互联网上采集该数据的最新版本。本课程介绍了加载数据和提取数据的基本 API，这些 API 出现在 PulsarSession 中。
PulsarRPAPro-AI高速采集并自动提取网页数据
weixin_48738961的博客
01-19 1108
AI 爬虫指的是一组AI 智能体，也就是 AI agents，它能够像真人一样网上冲浪，阅读理解在线网页，输出结构化数据或者知识图谱。
大规模 Web 数据采集的终极开源方案 - PulsarRPA
weixin_48738961的博客
10-02 3266
PulsarRPA 是大规模采集 Web 数据的终极开源方案，可满足几乎所有规模和性质的网络数据采集需要。 大规模提取 Web 数据非常困难。网站经常变化并且变得越来越复杂，这意味着收集的网络数据通常不准确或不完整，PulsarRPA 开发了一系列尖端技术来解决这些问题。
PulsarRPA 教程 12 - X-SQL
weixin_48738961的博客
11-04 378
PulsarRPA 开发了 X-SQL 来直接查询互联网，并将网页转换成表格和图表。X-SQL 扩展了 SQL 来管理 Web 数据：网络爬取、数据采集、数据提取、Web 内容挖掘、Web BI，等等。 当 PulsarRPA 作为 REST 服务运行时，X-SQL 可用于随时随地采
PulsarRPA 教程 3 - 数据提取
weixin_48738961的博客
10-31 620
现代网页源代码变化非常频繁，但是一个网站的网页“看上去”不会变太多，从而保证一致的用户体验。这时候，从视觉特征去审视网页元素就特别有效。为了更好地从视觉特征和数字特征来看待网页，PulsarRPA 扩展了 CSS，从而可以从视觉特征和数字特征角度解决最复杂的现实问题。
PulsarRPA 教程 7 - 连续采集
weixin_48738961的博客
10-31 482
在 PulsarRPA 中，连续采集非常简单，只需要将链接提交到 UrlPool 就行了，采集循环会自动启动。而 PulsarRPA 的基础设施也会去确保数据质量、调度质量等核心问题。
PulsarRPA 教程 11 - 大规模采集
weixin_48738961的博客
11-04 473
大规模提取 Web 数据非常困难。网站经常变化并且变得越来越复杂，这意味着收集的网络数据通常不准确或不完整，PulsarRPA 开发了一系列尖端技术来解决这些问题。
PulsarRPA 教程 9 - 机器人流程自动化(RPA)
weixin_48738961的博客
11-04 625
网络数据采集非常困难，网站经常变化并且变得越来越复杂，采集的数据通常不准确或不完整。 Scrapy, requests 等，已经越来越不适应现代网页了。在这个背景下，浏览器自动化技术，以及 RPA 技术就是解决问题的良方，它代替人工访问网页，执行和人工同样的动作，采集人能够看到的一切数据。
人工智能项目资料-基于ml-agents和ppo算法的强化学习.zip
02-07
人工智能——模拟人类智能的技术和理论，使其在计算机上展现出类似人类的思考、判断、决策、学习和交流能力。这不仅是一门技术，更是一种前沿的科学探索。 【实战项目与源码分享】 我们深入探讨了深度学习的基本...
distributed-agents:分布式聊天应用
05-08
克隆回购文件->导入->现有项目到工作区->浏览->选择“分布式代理” 确保已选择项目2个项目和4个模块（未选中“搜索嵌套项目”）并完成在部署%PATH_TO_WILDFLY_FOLDER%\wildfly-9.0.2.Final\standalone\deployments...
arduino-secret-agents:适用于Arduino的Secret Agents书籍的代码
05-10
arduino秘密代理 适用于Arduino的Secret Agents书籍的代码
学习网络爬虫和数据采集的一些建议
weixin_48738961的博客
10-17 630
学习技术最好的方法是阅读源代码并动手写代码：阅读优秀成熟项目源代码和文档，跟随项目的示例程序和测试用例执行、修改、添加，最后尝试修改成熟项目的核心代码。
PulsarRPA 教程 13 - AI 自动提取
weixin_48738961的博客
11-04 647
PlatonAI 的算法能够 100% 无人干预将网页变成数据 -- 不需要配规则，甚至也不需要机器学习训练，它是无监督机器学习驱动的，像人一样去阅读理解互联网。
PulsarRPA 教程 - 目录
weixin_48738961的博客
10-31 737
为解决网络数据管理、多源异构数据融合、网络数据挖掘、网络数据采集等问题，开发了一系列基础设施和前沿技术：支持高质量的大规模数据采集和处理，支持网络即数据库范式，支持浏览器渲染并将其作为数据采集的首要方法，支持 RPA 采集，支持退化的单一资源采集，并计划支持最前沿的信息提取技术，提供了人工智能网页提取的预览版本。）是大规模采集 Web 数据的终极开源方案，可满足几乎所有规模和性质的网络数据采集需要。
PulsarRPA 教程 2 - 加载参数
weixin_48738961的博客
10-31 530
PulsarRPA 使用简单的加载参数来精确描述一个采集任务，譬如数据生命周期，页面质量要求，任务截止日期，任务重试等。绝大多数情况下，一个数据采集任务可以用 url arguments 形式的文本来唯一确定，因此它可以很轻松地被复制、管理、存储、传输、并行化，以及沟通交流。
PulsarRPA 教程 15 - 控制台
weixin_48738961的博客
11-04 414
Exotic 可以从网站学习，自动生成所有提取规则，将 Web 当作数据库进行查询，完整精确地交付规模化的 Web 数据。
RabbitMQ小结
最新发布
javanmsl的博客
06-02 797
kafka优点：性能好，吞吐量高百万级，分布式，消息有序缺点：单机超过64分区，cpu会飙高，消费失败不支持重试 ，
适用于混合环境和离散动作空间的MADDPG代码
05-29
以下是适用于混合环境和离散动作空间的MADDPG代码示例： ```python import numpy as np import torch import torch.nn as nn import torch.optim as optim # 定义 Actor 和 Critic 网络 class Actor(nn.Module): def __init__(self, state_dim, action_dim, hidden_size): super(Actor, self).__init__() self.fc1 = nn.Linear(state_dim, hidden_size) self.fc2 = nn.Linear(hidden_size, hidden_size) self.fc3 = nn.Linear(hidden_size, action_dim) def forward(self, state): x = torch.relu(self.fc1(state)) x = torch.relu(self.fc2(x)) x = torch.tanh(self.fc3(x)) return x class Critic(nn.Module): def __init__(self, state_dim, action_dim, hidden_size): super(Critic, self).__init__() self.fc1 = nn.Linear(state_dim + action_dim, hidden_size) self.fc2 = nn.Linear(hidden_size, hidden_size) self.fc3 = nn.Linear(hidden_size, 1) def forward(self, state, action): x = torch.cat([state, action], dim=1) x = torch.relu(self.fc1(x)) x = torch.relu(self.fc2(x)) x = self.fc3(x) return x # 定义 MADDPG 类 class MADDPG: def __init__(self, state_dim, action_dim, hidden_size, discount_factor=0.99, tau=0.01, learning_rate=0.001): self.num_agents = len(state_dim) self.discount_factor = discount_factor self.tau = tau # 初始化 Actor 和 Critic 网络 self.actors = [Actor(state_dim[i], action_dim[i], hidden_size) for i in range(self.num_agents)] self.target_actors = [Actor(state_dim[i], action_dim[i], hidden_size) for i in range(self.num_agents)] self.critics = [Critic(sum(state_dim), sum(action_dim), hidden_size) for i in range(self.num_agents)] self.target_critics = [Critic(sum(state_dim), sum(action_dim), hidden_size) for i in range(self.num_agents)] # 初始化 Actor 和 Critic 优化器 self.actor_optimizers = [optim.Adam(actor.parameters(), lr=learning_rate) for actor in self.actors] self.critic_optimizers = [optim.Adam(critic.parameters(), lr=learning_rate) for critic in self.critics] # 将 target 网络参数设置为与本地网络相同 for i in range(self.num_agents): self.target_actors[i].load_state_dict(self.actors[i].state_dict()) self.target_critics[i].load_state_dict(self.critics[i].state_dict()) def get_actions(self, states, noise_scale=0.1): actions = [] for i in range(self.num_agents): state = torch.FloatTensor(states[i]).unsqueeze(0) action = self.actors[i](state).squeeze(0).detach().numpy() noise = noise_scale * np.random.randn(*action.shape) action = np.clip(action + noise, -1, 1) actions.append(action) return actions def update(self, states, actions, rewards, next_states, dones): states = [torch.FloatTensor(np.concatenate(states, axis=1))] actions = [torch.FloatTensor(np.concatenate(actions, axis=1))] rewards = [torch.FloatTensor(rewards)] next_states = [torch.FloatTensor(np.concatenate(next_states, axis=1))] dones = [torch.FloatTensor(dones)] # 更新 Critic 网络 target_actions = [] for i in range(self.num_agents): target_actions.append(self.target_actors[i](next_states[i]).detach()) target_actions = torch.cat(target_actions, dim=1) target_q_values = [] for i in range(self.num_agents): target_q_values.append(self.target_critics[i](next_states[0], target_actions).detach()) target_q_values = torch.cat(target_q_values, dim=1) target_q_values = rewards[0] + (self.discount_factor * target_q_values * (1 - dones[0])) q_values = [] for i in range(self.num_agents): q_values.append(self.critics[i](states[0], actions[0][:, sum(self.num_agents[:i]):sum(self.num_agents[:i+1])])) critic_losses = [] for i in range(self.num_agents): critic_losses.append(nn.functional.mse_loss(q_values[i], target_q_values[:, i:i+1])) for i in range(self.num_agents): self.critic_optimizers[i].zero_grad() critic_losses[i].backward() self.critic_optimizers[i].step() # 更新 Actor 网络 updated_actions = [] for i in range(self.num_agents): updated_actions.append(self.actors[i](states[0][:, sum(self.num_agents[:i]):sum(self.num_agents[:i+1])])) updated_actions = torch.cat(updated_actions, dim=1) actor_losses = [] for i in range(self.num_agents): actor_losses.append(-self.critics[i](states[0], updated_actions[:, sum(self.num_agents[:i]):sum(self.num_agents[:i+1])]).mean()) for i in range(self.num_agents): self.actor_optimizers[i].zero_grad() actor_losses[i].backward() self.actor_optimizers[i].step() # 更新 target 网络参数 for i in range(self.num_agents): for local_params, target_params in zip(self.actors[i].parameters(), self.target_actors[i].parameters()): target_params.data.copy_(self.tau * local_params.data + (1 - self.tau) * target_params.data) for local_params, target_params in zip(self.critics[i].parameters(), self.target_critics[i].parameters()): target_params.data.copy_(self.tau * local_params.data + (1 - self.tau) * target_params.data) ``` 其中，`state_dim` 是代理的状态空间维度的列表，`action_dim` 是代理的动作空间维度的列表，`hidden_size` 是 Actor 和 Critic 网络的隐藏层大小，`discount_factor` 是折扣因子，`tau` 是软更新参数，`learning_rate` 是 Actor 和 Critic 网络的学习率。`get_actions` 方法返回代理的动作，`update` 方法更新 Actor 和 Critic 网络参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值