自然语言处理
-Ausen
小白一个
展开
-
HMM MEMM 零碎学习笔记
学习视频:https://www.bilibili.com/video/BV19t411R7QU?p=2HMM生成模型参数模型为,其中Π为初始概率矩阵,A为状态转移矩阵,B为发射矩阵。初始概率矩阵为随机生成的值。状态转移矩阵既是y_t-1到y_t的参数状态变化趋势,隐状态的变化趋势。发射矩阵既是y_t到x_t的概率,状态变量到观测变量的概率。建模对象...原创 2020-04-21 16:30:05 · 139 阅读 · 0 评论 -
POS Tagging 和Chunking (学习笔记)
来源:https://blog.csdn.net/Sirow/article/details/89306934词性标注(POS-Tagging)这里的例子主要针对英文,词性标注的作用便是给输入的句子的每个单词分割开然后去除功能词,再给每一个单词标注他们的词性,词性有八个主要组成部分:名词、代词、形容词、动词、副词、介词、连词和感叹词。例子:Noun (N)- Daniel...原创 2020-04-16 12:56:07 · 276 阅读 · 0 评论 -
BERT简述 学习笔记
参考文章:https://zhuanlan.zhihu.com/p/466525121.BERT模型BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上,即用了Masked LM和...原创 2020-04-15 16:06:04 · 151 阅读 · 0 评论 -
seq2seq数据预处理中一些符号笔记
这里主要是自己的小笔记‘’ :给缺省长度的向量补齐,至于补什么内容有很多方法‘’ :unknown 在数据量很多的时候,有一些字符只出现了一次或者两次,则这些字符可以用来表示‘’ :句子起始符‘’ :end of sentence 句子终止符...原创 2020-04-10 09:38:16 · 81 阅读 · 0 评论 -
Self-Attention和transformer的一些笔记
来源:https://zhuanlan.zhihu.com/p/47282410直观理解self-attention利用attention的机制,计算每一个输入单词与其他所有输入单词之间的关联。例如在翻译“I arrived at the bank after crossing the river”的时候,当我们翻译到bank河岸的时候,river就会有较高的Attention ...原创 2020-04-08 11:44:49 · 119 阅读 · 0 评论