PyTorch自然语言处理

特点

• 展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法
• 演示如何使用 PyTorch 构建应用程序
• 探索计算图和监督学习范式
• 掌握 PyTorch 优化张量操作库的基础知识
• 概述传统的 NLP 概念和方法
• 学习构建神经网络所涉及的基本思想
• 使用嵌入来表示单词、句子、文档和其他特征
• 探索序列预测并生成序列到序列模型
• 学习构建自然语言处理生产系统的设计模式

内容

• 介绍
  • 监督学习范式
  • 观察和目标编码
  • 计算图
  • PyTorch 基础知识
• 自然语言处理
  • 语料库、令牌和类型
  • Unigrams, Bigrams, Trigrams, …, N-grams
  • 引理和词干
  • 对句子和文件进行分类
  • 分类词：POS 标记
  • 分类跨度：分块和命名实体识别
  • 句子结构
  • 词义和语义
• 神经网络的基础组件
  • 感知器：最简单的神经网络
  • 激活函数
  • 损失函数
  • 深入了解监督训练
  • 辅助训练概念
  • 示例：对餐厅评论的情绪进行分类
• 自然语言处理的前馈网络
  • 多层感知器
  • 示例：使用 MLP 进行姓氏分类
  • 卷积神经网络
  • 示例：使用 CNN 对姓氏进行分类
  • CNN 中的其他主题
• 嵌入单词和类型
  • 介绍
  • 示例：学习词嵌入的连续袋
  • 示例：使用预训练嵌入进行文档分类的迁移学习
• 序列建模
  • 循环神经网络简介
  • 示例：使用字符 RNN 对姓氏国籍进行分类
• 中间序列建模
  • Vanilla RNN（或 Elman RNN）的问题
  • 门控是普通 RNN 挑战的解
  • 示例：用于生成姓氏的字符 RNN
• 高级序列建模
  • 序列到序列模型、编码器-解码器模型和条件生成
  • 从序列中捕获更多：双向循环模型
  • 从序列中捕获更多：注意力
  • 评估序列生成模型
  • 示例：神经机器翻译
• 经典、前沿和后续步骤

详情参阅 - 亚图跨际