2020年03月_晴晴_Amanda

原创第一篇强化学习基础（下）——基于模型的动态规划算法

本分类专栏博客系列是学习《深入浅出强化学习原理入门》的学习总结。书籍链接：链接：https://pan.baidu.com/s/1p0qQ68pzTb7_GK4Brcm4sw 提取码：opjy文章目录基于模型的动态规划算法基于模型的动态规划算法...

2020-03-29 22:30:41 677

原创第一篇强化学习基础（上）——马尔科夫决策过程

本分类专栏博客系列是学习《深入浅出强化学习原理入门》的学习总结。书籍链接：链接：https://pan.baidu.com/s/1p0qQ68pzTb7_GK4Brcm4sw 提取码：opjy文章目录一、马尔科夫决策过程1. 强化学习的基本原理2. ⻢尔科夫性3. ⻢尔科夫过程4. ⻢尔科夫决策过程二、一、马尔科夫决策过程1. 强化学习的基本原理强化学习过程智能体在完成某项...

2020-03-28 21:40:34 728

文章目录一、简介二、模型结构2.1 Embedding2.2 Transformer Encoder2.3 Loss优化三、BERT的预训练过程3.1 Masked Language Model3.2 Next Sentence Prediction四、总结4.1 BERT的优点4.2 BERT的不足4.3 BERT的适用场景五、参考论文：BERT: Pre-training of Deep ...

2020-03-26 15:15:04 4720

原创 Transformer原理详解

文章目录一、简介二、模型结构2.1 整体结构2.2 Transformer的编解码器2.2.1 编码器2.2.2 解码器2.3 输入层2.4 位置向量2.5 Attention模型2.5.1 NLP中的注意力2.5.2 Scaled attention2.5.3 多头自注意力2.6 Position-wise feed-forward networks(位置全链接前馈网络)2.7 残差连接网络2....

2020-03-26 14:45:20 4249

原创 6. 文本分类——transformer模型

文章目录一、简介二、transformer结构三、用于文本分类的transformer1. embedding layer（嵌入层）2. positional encoding（位置编码）3. Scaled dot-product attention（缩放的点乘注意力机制）4. Multi-head attention（多头注意力）5. Padding mask6. 残差连接7. Layer No...

2020-03-22 20:43:56 13202

原创 5. 文本分类——textRCNN模型

文章目录一、简介二、模型结构1.Word Representation Learning2.Text Representation Learning3. 代码实现4. 参考文章：recurrent convolutional neural networks for text classification文章链接：http://www.aaai.org/ocs/index.php/AAAI/A...

2020-03-22 14:27:05 4653

原创 4.文本分类——textRNN模型

文章目录一、简介二、先验知识：LSTM详解2.1 RNN2.2 长短期记忆网络（LSTM）（1）细胞状态（Cell State）（2）遗忘门（3）输入门（4）更新门（5）输出门2.3 双向RNN2.4 双向LSTM【Bi-LSTM】三、textRNN模型结构3.1 结构13.2 结构2四、总结五、参考一、简介TextCNN擅长捕获更短的序列信息，但是TextRNN擅长捕获更长的序列信息。具体...

2020-03-21 22:04:40 6564 2

原创 3.文本分类——textCNN模型

文章目录一、简介二、模型结构2.1 嵌入层2.2 卷积层2.3 池化层2.4 全连接层2.5 softmax层三、textCNN总结四、实现五、参考一、简介TEXTCNN是由Yoon Kim在论文(2014 EMNLP) Convolutional Neural Networks for Sentence Classification中提出的，其主要思想是将不同长度的短文作为矩阵输入，...

2020-03-21 19:50:03 2779

原创 2.文本分类——fastText模型

文章目录一、fastText简介二、fastText模型架构三、层次softmax四、 N-Gram特征五、使用fastText进行文本分类实践六、参考一、fastText简介fastText算法是一种有监督的模型，与《前篇》中的CBOW架构很相似。《前篇》中的CBOW，通过上下文预测中间词，而fastText则是通过上下文预测标签（这个标签就是文本的类别，是训练模型之前通过人工标注等方...

2020-03-20 22:25:52 2529

原创 1. 文本分类概述

文章目录1. 什么是文本分类？2. 文本分类流程2.1 文本预处理2.2 文本特征表示2.3 分类器模块1. 什么是文本分类？文本分类技术是指在预先定义好的一些主题(如体育、教育、科技、时政、时尚等)下，根据文本的属性、含义或内容对其进行主题抽取，将大量的文本数据归类到相应的主题中。分类是信息检索领域多年来一直研究的课题，一方面以搜索的应用为目的来提高有效性和某些情况下的效率；另一方面，分...

2020-03-20 13:12:54 2629

原创论文阅读——UNSUPERVISED MACHINE TRANSLATION USING MONOLINGUAL CORPORA ONLY

文章目录摘要介绍摘要介绍

2020-03-07 19:50:31 489

原创论文阅读——A HYBRID TEXT NORMALIZATION SYSTEM USING MULTI-HEAD SELF-ATTENTION FOR MANDARIN

文章目录0. 摘要1. 介绍2. 方法2.1 基于规则的文本标准化(TN)模型2.2 本文提出的混合TN模型2.3 训练和推理3. 实验3.1 训练数据集3.2 系统配置3.3 模型性能4. 结论和展望0. 摘要在本文中，我们提出了一种使用多头自注意力的混合文本规范化系统。该系统结合了基于规则的模型和神经模型在文本预处理任务的优势。以前的普通话文本标准化的研究通常使用一组手写规则，这些规则...

2020-03-03 23:20:49 918

qq_38293297的博客