论文《PYTEXT: A SEAMLESS PATH FROM NLP RESEARCH TO PRODUCTION》学习总结

最新推荐文章于 2022-11-15 13:11:41 发布
最新推荐文章于 2022-11-15 13:11:41 发布
阅读量192 收藏
点赞数
分类专栏： 论文学习 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yingdajun/article/details/119744216
版权

Abstract

阐述工作内容

写了一个基于pytorch的模型部署文件框架，该框架可以调和算法工程师快速实验和大规模服务模型部署之间的矛盾

创新点

1.为模型组件提供简单可扩展的接口
2.利用pytorch导出模型以便送入caff2模型进行推断
3.同时构建多个单任务模型，通过上述的模块，确定共享的模型参数，进行共同的研究，可以对于多个任务使用一个或者多个输入表示联合训练模型

Introduction

工作背景

(1) 在搭建机器学习模型框架时，特别是深度学习模型框架中，实验和部署之间存在很大的矛盾
(2) 实验过程中，通常使用pytorch和tensorflow，优点是快速建模，建立动态图模型，缺点是推断过程延时，部署具有挑战（其实我不太了解什么是推断，什么是部署）
模型部署时，使用声明式框架，采用caffe2和tensorflow框架，建立静态图模型，优点是高度优化生产场景，但难以使用且实验生命周期更长。
(3) 当前矛盾是因为大多数NLP模型是动态模型，不容易在静态图中表示，增加了在工业规模基础上开启各项服务的挑战性。

创新点

1.快速建模
2.在新数据上使用模型变得容易，减少额外工作量
3.在同一生产线上的研究人员和工作师，以最小的代价实现创建、评估、交付模型到部署的全过程。
4.确保模型部署时的高性能(低延迟和高吞吐量)

Related work

相关研究算法介绍，分析存在的优缺点。
不同模型框架 优点 缺点
CoreNLP 支持研究和生产 不支持深度学习神经网络
FLAIR 支持研究和深度学习模型 不支持生产
AllenNLP 支持研究和深度学习模型 不支持生产
Spacy 2.0 支持深度学习模型和生产 不支持建模

Discussion

论文介绍

PyText是一套帮助研究人员或者工程师快速部署机器学习系统的框架，具有自定义处理原始数据模型、报告指标、训练方法、输出训练模型方法等功能。
此时可以研究各类模型的构建模块，进行深入化研究。

源码结构

所有组件都是需要在全局注册表里面维护的，由配置它所需要的参数进行定义
组件结构=训练(Data Handler/Model/Optimizer/Metric Reporter/Trainer)+预测(Predictor)+导出(Exporter)，所有的模型导出为ONXX格式

模型结构

单任务训练模型
Token Embedding+Representation+Decoder+Output Layer
多任务训练模型
同时构建多个单任务模型，通过上述的模块，确定共享的模型参数，进行共同的研究，可以对于多个任务使用一个或者多个输入表示联合训练模型

多任务训练模型的相关前提条件

  1. 设置不同的数据源，不同数据源对应不同的任务
  2. 必须实现单个的任务场景，确保在多任务设置中重用它。

多任务训练模型的实例
可以通过共享词表示变量，实现(1)文本分类和词标记模型，(2)两个文本分类+文本匹配模型

该模型可以支持的任务

  1. 文本分类
  2. 词标记
  3. 语义解析
  4. 语言模型
  5. 联合模型

Experiments

实验步骤

PyText的部署任务

  1. 实现模型
  2. 绑定到pytorch的推理服务，对实时流量样本进行实时小规模评估
  3. 导出成caffe2模型，但不一定支持过于复杂的版本
  4. 如果3步骤不行，则使用pytorch的C++ API，重写模型并且封装成Caffe2格式
  5. 发布到Caffe2的预测服务中，进行训练操作

实验条件
实验是在一台只有cpu的机器上进行的，机器上有48个2.5GHz的Intel Xeon E5-2680处理器，251 GB RAM和CentOS 7.5。c++代码使用gcc -O3编译

模型部署情况
该模型研究了pytext在导出为C++和caffe2中，导出为意图识别任务中的延迟情况

结果分析

模型部署的挑战
文本预处理：

  1. 文本标记化
  2. 字符转ID
  3. 字符串对齐

词汇表管理的方法

  1. 维护远程服务中的词汇表
  2. 导出为Caffe2后，将词汇表添加至网络中

选择第二种是可以同步/控制不同版本的用例和语言模型

未来研究方向

1.添加任务

(1)添加多语言任务建模研究
(2)添加问答系统、总结系统、阅读理解任务的研究

2.性能基准以及相应改进

为了提高高吞吐量，降低延迟时间
(1) 训练：增加分布式训练
(2) 预测：对训练进行基准测试，根据预测的负载模式调优模型部署。

3. 模型可解释性

监控指标，调试模型内部，添加更多工具支持
(1) tensorboard+visdom
(2) 探索不同的模型解释方法

4.模型稳健性

为了抵抗扰动的对抗性输入、噪声、语法差异性对模型准确性的影响，添加对抗训练和数据增强技术。

5.移动模型部署

训练轻量化的模型，在移动设备上部署模型

南楚巫妖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
多模态大模型：技术原理与实战 在LLM时代，对软件研发的更多思考————从软件 1.0 迈向软件 2.0 时代
禅与计算机程序设计艺术
06-29 437
软件1.0 vs 软件2.0 - **软件1.0**：传统的软件开发方法，通过人工编写明确的**程序逻辑和规则**来实现功能。 - **软件2.0**：利用AI和机器学习技术，通过**训练模型来"学习"如何执行任务，而不是显式编程**。在这种范式下，软件的行为更多地**由数据和学习算法决定，而不是固定的规则。**
NLP学习路径（六）：NLP句法分析
jiaojiaolou的博客
03-30 2248
1、句法分析 （1）主要任务：识别出句子所包含的的句法成分以及这些成分之间的关系，一般以句法树来表示句法分析的结果。 （2）难点：歧义；搜索空间 （3）句法分析种类： ①完全句法分析：以获取整个句子的句法结构为目的 ②局部句法分析：只关注局部的一些成分，例如依存句法分析 （4）句法分析方法：基于规则（存在语法规则覆盖有限、系统可迁移差等缺陷）；基于统计（一套面向候选树的评价方法，其会给...
Facebook开源NLP建模框架PyText，从论文到产品部署只需数天
weixin_33670786的博客
12-15 164
选自code.fb作者：AHMED ALY HEGAZY、CHRISTOPHER DEWAN机器之心编译参与：淑婷、张倩Facebook AI Research（FAIR...
Image Segmentation Using Deep Learning: A Survey 论文精读
Doctor_Wei的博客
11-15 2756
Image Segmentation Using Deep Learning: A Survey 论文精读
seamless-scroll:js seamless scrolling（js无缝滚动）
05-12
无缝滚动js Seamless-scroll插件 :sheaf_of_rice: | :blue_book:浏览器支持 IE 火狐浏览器 Chrome合金 苹果浏览器 的iOS 安卓IE7 + ✓ ✓ ✓ ✓ ✓ 不支持移动手势。安装NPMnpm install seamscroll --save CDN ...
vue-seamless-scroll:A simple, seamless scrolling for Vue.js vue无缝滚动component
05-10
vue-seamless-scroll Vue.js的简单无缝​​滚动 特征 初始配置支持 兼容多种平台 多技术堆栈版本支持 文献资料 要查看和文档，请访问 。 关怀 如果您希望js无缝滚动（无依赖关系），则可以切换到此处。 。 贡献 欢迎...
先进语音和文本翻译的基础模型：seamless-communication
最新发布
01-12
一个涉及最先进的语音和文本翻译基础模型。该项目可能包含了使语音和文本之间的交流更加无缝的技术和算法。
Seamless Image Cloning by a Closed Form Solution of a Modified Poisson Problem
07-24
Seamless Image Cloning by a Closed Form Solution of a Modified Poisson Problem
预训练模型transformers综合总结（三）
yingdajun的博客
02-05 6208
这就是最后的部分，关于语言建模、多选、问答系统、文本分类、命名实体识别等任务的模型微调，这一块我也是直接看人家笔记本总结的。按照这三个部分，这个库基本就弄熟了 语言建模 主要有这两种方式进行建模 因果语言建模：模型必须预测句子中的下一个标记（因此标签与向右移动的输入相同）。为确保模型不作弊，当尝试预测句子中的标记i + 1时，它将获得一个注意掩码，以防止其访问标记i之后的标记。 屏蔽语言建模：模型必须预测输入中被屏蔽的一些标记。它仍然可以访问整个句子，因此它可以在屏蔽标记之前和之后使用标记来预测其值
word2vec和常见CNN+RNN网格结构组成的文本分类模型
yingdajun的博客
09-21 3163
作者为了应付毕业，所以在补充深度学习相关知识，这是我尝试把word2vec和深度学习相互结合的一次记录。 数据集来源 数据集预处理 生成word2vec模型 搭建网络并且训练 数据集来源 本文的数据集源自kaggle比赛中的NLP入门比赛，灾难新闻预报警。 数据集预处理 数据导入： import numpy as np import pandas as pd train_df = pd.read_csv("data/train.csv") test_df = pd.read_csv(.
预训练模型transformers综合总结（一）
yingdajun的博客
02-05 2635
这是我对transformers库查看了原始文档后，进行的学习总结。 第一部分是将如何调用加载本地模型，使用模型，修改模型，保存模型 之后还会更新如何使用自定义的数据集训练以及对模型进行微调，感觉这样这个库基本就能玩熟了。 # 加载本地模型须知 * 1.使用transformers库加载预训练模型，99%的时间都是用于模型的下载。 为此，我直接从清华大学软件（"https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models/"）把模型放在了我的本地目
LinkBERT: Pretraining Language Models with Document Links 论文总结
yingdajun的博客
03-31 2349
LinkBERT: Pretraining Language Models with Document Links Link BERT：带有文档链接的预训练语言模型 源码位置: https://github.com/michiyasunaga/LinkBERT 摘要 语言模型（LM）预训练可以从文本语料库中学习各种知识，帮助下游任务。然而，现有的方法（如BERT）对单个文档建模，并且不能捕获跨文档的依赖关系或知识。在这项工作中，我们提出了LinkBERT，这是一种LM预训练方法，利用文档之间的链接，例如超链
预训练模型transformers综合总结（二）
yingdajun的博客
02-05 1776
接着第一部分，这里写如何使用自定义数据集，调用transformers库去训练模型，其实感觉本质就是如何把数据集合理读取进来。 文本分类 使用aclImdb数据集，我比较倾向于直接用list把文本给读取进来 （一）数据准备 #数据读取 from pathlib import Path def read_imdb_split(split_dir): split_dir = Path(split_dir) texts = [] labels = [] for labe
Hierarchical Transformer Model for Scientific Named Entity Recognition 论文总结
yingdajun的博客
03-31 1743
Hierarchical Transformer Model for Scientific Named Entity Recognition 科学命名实体识别的层次变换模型 Github 地址: https://github.com/urchade/HNER 摘要: 命名实体识别是关系抽取、知识图构造等自然语言处理系统的重要组成部分。在这项工作中，我们提出了一种简单有效的命名实体识别方法。我们方法的主要思想是使用一个预先训练好的转换器（如BERT）对输入子词序列进行编码，然后，在子词表示中添加另一层转换器，
关键词提取代码
yingdajun的博客
01-06 1582
我又来水博客了，今天我做了关键词提取算法。 代码我会上传到我的github中去，这个算法需要stopword和corpus两个txt格式，导入的时候，会出现下面的错误 gbk' codec can't decode byte 0x80 in position 26: illegal multibyte sequence 只需要在里面的open函数里面加一句encoding=“utf-8”即可...
Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence 论文总结
yingdajun的博客
03-23 1120
Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence 《通过构建辅助句利用 BERT 进行基于方面的情感分析 》 论文源码位置: https://github.com/HSLCY/ABSA-BERT-pair 摘要 提出了一种通过构造辅助句子，将基于方面的情感分析 (ABSA) 转换成句子对分类问题的方法，提高针对特定方面的细粒度意见极性，使用BERT模型，在SentiHood 和 Sem
Adapter-transfomers版本库包使用练习
yingdajun的博客
04-25 1098
Aapter-transformers库包尝试使用，感觉这个库包的用于做模型轻量化效果不是很大，降低内存不多，不是很实用。 调用第三方库包 #coding=utf-8 import numpy as np import pandas as pd import os import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_s
Failed to resolve component: vueSeamlessScroll If this is a native custom element, make sure to exclude it from component resolution via compilerOptions.isCustomElement.
06-13
这个错误通常表示在使用 Vue.js 框架时，没有正确引入或注册 `vue-seamless-scroll` 组件。你需要在组件中引入所需的依赖，并在 Vue 实例中进行注册。另外，确保你的项目中已经安装了 `vue-seamless-scroll` 组件。如果问题依然存在，尝试在 `compilerOptions` 中添加 `isCustomElement` 选项来排除该组件的自定义元素解析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南楚巫妖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值