ML18-自然语言处理

十九岁的花季少女

已于 2022-09-08 10:34:50 修改

阅读量140

点赞数

分类专栏：机器学习文章标签：自然语言处理机器学习人工智能

于 2022-08-03 18:37:40 首次发布

本文链接：https://blog.csdn.net/xiaomi5410/article/details/126090142

版权

机器学习专栏收录该内容

27 篇文章 1 订阅

订阅专栏

自然语言处理

用途

在这里插入图片描述

深度学习

深度学习的基础模型就是神经网络。根据模型进行优化，右边就是优化过程`。
在这里插入图片描述
为什么要进行深度学习。
相对于普通的机器学习算法来说，它具有下面这些优点。

语言模型

实例
在这里插入图片描述

存在问题

N-Gram模型

N的取值就是看这个词的出现依赖钱买你多少词。
在这里插入图片描述
第二个表格就是，当i出现时i,want,to…等出现的次数（i后边接着（want\to\eat）的次数）。，由此可以计算出第三个表格中的概率值及i后面出现want的次数是827，i出现总词数是2533，所以i后面出现want的概率为827/2533，算出来就是第三个表格对应的0.33.
在这里插入图片描述
参数规模

词向量

相近意思的词用词向量表示应该也是相近的。
在这里插入图片描述
对于两种语言构建出来的词向量应该是类似的，右边是西班牙语。

神经网络模型

在这里插入图片描述

优势

因为词向量类似，所以会把这几个句子看所是一个句子将所有句子的出现次数加起来，看作是一个句子出现的次数。

Hierarchical Softmax

神经网络两种实现模型。
CBOW就是输入几个词（上下文）然后经过一系列层预测出当前这一个词是什么。
Kkip-gram正好相反，输入是当前这个词，然后预测他的上下文。
在这里插入图片描述
CBOW

哈夫曼树。可以将权值看作词语出现的次数。

构造过程。可以进行编码。

逻辑回归-sigmoid函数来决定走哪个分支。