点击上方“CVer”,选择加"星标"或“置顶”
重磅干货,第一时间送达
本文转载自:机器之心
参与:李亚洲、杜伟
在 PyTorch 上,你可以像调用卷积一样调用 Transformer 了。PyTorch 作为 Facebook 开发和维护的一个开源框架,近来的发展势头相当强劲。 自 2017 年初首发以来,PyTorch 灵活、动态的编程环境及对用户友好的界面使其非常适用于快速实验,因此在社区内迅速发展壮大。 2018 年 12 月,PyTorch 1.0 正式版发布,解决了包括可重用、性能、编程语言和可扩展性等在内的一系列问题。 今日,PyTorch 发布最新版本,做了一系列更新,包括正式支持 Transformer、TensorBoard 等。 正式支持 Transformer 与 TensorBoard 基于论文《Attention is All You Need》,PyTorch 1.2 版本加入了标准的 nn.Transformer 模块。 nn.Transformer 模块完全依赖注意机制描述输入和输出之间的全局依赖关系。 nn.Transformer 模块的组件是单独设计的,以便于被分开使用。 例如,没有更大的 nn.Transformer 的情况下,nn.TransformerEncoder 可被自身使用。 新的 API 包括: 现在,简单的输入 from torch.untils.tensorboard import SummaryWriter 就能启动 TensorBoard,它已经不再是实验版了,这就表示 PyTorch 终于正式支持 TensorBoard 啦。 一旦我们安装了 TensorBoard,PyTorch 的这项新 API 就会将模型和指标记录到 TensorBoard UI 的目录中,并进行可视化。 它对所有基于 PyTorch、Caffe 2 的模型和张量都支持数量、图像、直方图、图和嵌入可视化。 其它重要更新 新的 TorchScript API PyTorch 1.2 版本为 nn.Modules 转换成 ScriptModules 提供了新的、易用的 API。 简单用例如下: torch.jit.script() 将尝试以递归形式编译指定的 nn.Module,其中包括调用自 forward() 的任何子模块或方法。 相关变更情况以及如何迁移详见《migration guide》。 提升 TorchScript Python 语言覆盖范围 在 PyTorch 1.2 版本中,TorchScript 显著提升了自身对 Python 语言结构和 Python 标准库的支持。 亮点包括如下:
提前返回、终止和继续;
基于迭代器的结构,如 for..in 回路、zip() 和 enumerate();
NamedTuples;
支持 math 和 string 库
支持大多数 Python 内部函数
支持多个 Opsets 版本,包括 Opset 10 版本中导出 dropout、slice、flip 和 interpolate;
改进 ScriptModule,包括支持多输出、张量 factory 以及作为输入和输出的元组;
支持 10 多个额外的 PyTorch 操作符,包括导出自定义操作符。
参考链接:https://github.com/pytorch/pytorch/releases
重磅!CVer学术交流群成立啦
扫码添加CVer助手,可申请加入CVer-目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测和模型剪枝&压缩等群。一定要备注:研究方向+地点+学校/公司+昵称(如目标检测+上海+上交+卡卡)
▲长按加群
▲长按关注我们
麻烦给我一个在看!