Rasa课程、Rasa培训、Rasa面试系列之: DAGs with Caches

Rasa 2.x的NLU管道更新可能导致所有组件重新训练,但通过DAGs(有向无环图)和缓存策略,可以减少不必要的训练。本文介绍了如何利用DAGs优化训练流程,当组件参数改变时,仅重新训练受影响的部分,同时在磁盘上缓存组件以加速后续训练。文中还提供了Rasa开源分支的安装方法和缓存体验,展示了缓存在.Rasa文件夹中的SQLite数据库和组件文件。此外,文章提及了Gavin大咖的Rasa 3.x源码解析课程,详细讲解Rasa系统架构、内核算法和源码实现。
摘要由CSDN通过智能技术生成

Rasa DAGs 与缓存

Rasa 2.x 对NLU管道文件的单个更改将触发对其中所有组件的重新训练,整个流程都被视为一个整体,这可能会导致Rasa认为所有组件都要重新训练,即使只是发生了很小的变化。但是如果将计算后台表示为DAG,那么就有了更多的选择。假设我们从下图开始。这个图表示了一个启用端到端的Rasa管道。

现在假设我们改变了第二个CountVectorizer的超参数。这将影响到DIETClassifier、TED和Policy Ensemble。但其余的组件不需要再训练。

如果我们能够在磁盘上缓存已经训练过的组件,那么只需要训练红色的组件,并保持绿色的组件不变。当你为你的会话助理尝试新的设置时,这可以避免大量的计算。

例子

如果你现在安装了Rasa开源的主要分支,你就可以对缓存的体验有一个大致的了解。

python -m pip install --upgrade "rasa @ git+https://github.com/RasaHQ/rasa.git"

当你用这个版

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值