nlp
qishanbaby
这个作者很懒,什么都没留下…
展开
-
nlp入门12——HMM
x 为一句话——>显状态y序列为隐的部分——>隐状态一般有 y 部分进行链接 去生成 x。原创 2023-09-26 22:09:32 · 127 阅读 · 0 评论 -
nlp入门11——RNN(重要)
7. `return torch.zeros((batch_size, self.hidden_size))`:在 `_initialize_hidden` 方法中,这行代码创建一个形状为 `(batch_size, hidden_size)` 的全零张量,表示初始化的隐藏状态,并将其返回。15. `hidden_t = self.rnn_cell(inputs[t], hidden_t)`:在每个时间步 `t`,调用 RNN 单元 `self.rnn_cell` 来更新隐藏状态。原创 2023-09-25 19:33:16 · 124 阅读 · 0 评论 -
nlp入门10——MLP(多层感知机)
感知机模型是一个线性模型(只有线性层)原创 2023-09-25 13:21:08 · 174 阅读 · 0 评论 -
nlp入门8——预训练的词表示及使用
可以理解为一个词向量。原创 2023-09-24 18:23:36 · 38 阅读 · 0 评论 -
nlp入门7——神经语言模型
x为输入 是一个拼接的向量 假设一个w为300维 则 x为1*300*k维。w1代表一个词 v代表一个映射到一个词向量。原创 2023-09-23 16:16:02 · 49 阅读 · 0 评论 -
nlp入门6——语言模型任务评估
P为真实的分布 Q为模型预测出来的概率分布 ——> 期望预测和真实相接近 ——> 相对熵的值应该趋近于0。H(P)为真实分布的熵(已经确定),为了使H(P,Q)最小,要让DKL(P,Q)最小。困惑度和语料库有关,只有使用相同的语料库对比不同的模型,此时,困惑度才有意义。H(熵)越大 不确定越高 当H为0是 事件确定。这里的距离应该理解为两个分布之间的差异。这里的红色信息熵错了 应该为交叉熵。表示在语料库中可以选择的词的数量。在这个表达式中 H的最大值为2。H(P,Q)为交叉熵。困惑度越小,模型越好。原创 2023-09-23 14:34:21 · 216 阅读 · 0 评论 -
nlp入门5——语言模型
见课件。原创 2023-09-23 11:21:39 · 45 阅读 · 0 评论 -
nlp入门4——文本的向量化表示(嵌入)
one-hot在一个词典大小的空间(特别大1*40000)——> 使用矩阵来映射(40000*300维)——>向量相乘 ——> 得到1*300维的向量。一个词的one-hot编码 * 这个词典的稠密向量表示 = 这个词的稠密向量编码(定位词)使用不同语料库训练得到的语言模型不同,分类预测的结果不一样。的特征)希望输出 的词为 C 的概率最大。原创 2023-09-23 09:49:44 · 69 阅读 · 0 评论 -
nlp入门3——特准输入
2 pad 把每句话填充为等长的句子,方便训练,填充的长度也可以作为一个特征(向量表示为0) unk 表示不在词典里面的词,向量表示为0(无意义)CBOW模型的基本思想是,给定一个窗口内的上下文词汇,模型试图预测窗口中心的目标词汇(固定输入大小的原因)。nlp中的预训练是得到每个词的一个好的向量表示(每个词的一个合适的稠密编码)a 为one-hot的表示表示一个词的特征——>表示的向量非常长。1 词与词的距离 词的位置 都可以作为特征输入。f1~fk 为1~k个词的词向量(特征)原创 2023-09-22 21:01:37 · 41 阅读 · 0 评论 -
nlp入门2——nlp问题中的特征
2 (word net)更准确判断词语的意思。1 通过词源和词干推断出单词的大致特征。NNP主语 VBD谓语 NN宾语。3 把不同类型的单词进行归类。分析句子中的主谓宾(语法)原创 2023-09-22 19:52:42 · 57 阅读 · 0 评论 -
nlp入门1——nlp预备知识
one-hot 表示 看不出关联性——解决方法:稠密编码(词向量)原创 2023-09-22 19:29:31 · 52 阅读 · 0 评论