Claire的博客

专业领域大模型：南方电网电力大模型：电网异常情况秒级自动化生成处置源百度与河北高速：大模型智能信控。

金等人引入字符级内部信息来进行词汇的义原预测，缓解单独使用外部信息而带来的问题。提出了词汇义原预测任务，并基于协同过滤和矩阵分解两种两种简单但又有效的方法。将词典定义引入到义原预测中，发现定义中丰富的语义信息对于义原预测非常有利。基于BalbelNet构建一个多语言义原知识库。利用字形信息进行词汇的义原预测。跨语言词汇义原预测任务。

论文阅读

人工构造义原麻烦==》基于词嵌入编码的词的语义自动预测预测词汇义原的方法利用矩阵分解来学习==》来预测义原与词语之间的语义关系该方法对现有噪声义原知识库的标注验证和新单词短语的标注建议具有重要的应用价值。

所有同类的语义项构成一个树状结构，要计算语义项之间的距离，只要计算树状结构中相应结点的距离《知网》中词汇语义相似度的计算存在以下的问题：2、KDML。

单词义素信息可以改善单词表示学习(WRL)，它将单词映射到低维语义空间，并作为许多NLP任务的基本步骤。

把最后那个时刻的隐层状态传给解码器，这个状态包括了整个源码句子的信息，这个东西可以是双向的，双向的不能做语言模型，但双向可以做翻译，decoder要预测，encoder不需要。encoder可以看到整个句子，所以可以正向看一下，反向看一下，双向RNN经常会用在Encoder里面。隐藏状态过来，给原句子的隐层状态之后给一个输出开始翻译，把上一个刻的翻译是下一刻的输入。encoder是给一个句子，比如Hello Word,然后要翻译成法语的句子。上一层的翻译做下一层的输出，得到整个原句子的输出。

提出了神经网络语言模型。该模型使用前n-1词来预测第n个词，计算概率p(wn|w1,w2,````,wn-1)。首先先将前n-1个词用one-hot表示，然后使用投影矩阵降维，再将降维后的n-1个词的表示拼接起来，Bengio将神经网络引入语言模型的训练中，并得到了词向量这个副产物。词向量对后面深度学习在自然语言处理方面有很大的贡献，也是获取词的语义特征的有效方法。现在的任务：输入wt-n+1,````wt-1.这前n-1个单词，然后预测出下一个单词wt。

学习了什么是前馈全连接层在transformer中前馈全连接层就是具有两层线性层的全连接网络考虑注意力机制可能对复杂过程的拟合程度不够，通过增加两层网络来增强模型的能力学习并实现了前馈全连接层的类：PositionwiseFeedForward它的实例化参数为d_model,d_ff,dropout分别代表词嵌入维度，线性变换维度，和置零比率它的输入参数x，表示上层的输出它的输出是经过2层线性网络变换的特征表现。

手把手带你做一个文本分类实战项目(模型+代码解读)中文汉字对应的数字索引之后对应的数字索引之后找到tokn embedding的东西1、模型预处理2、模型构建3、损失函数构建。

能够将提取到的特征集合在一起，给出图片可能是某个事物的概率。训练，根据已有的图片，数字来自动的确定已有的数字。CNN中，存在着一个个填充数字的正方形小格子。拥有5个卷积层的AlexNet为例。特征图：这层的输出也是下层的输入。CNN非常擅长处理图像。

也可以叫意图识别。