![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
训练营打卡
我是飞行模式
NLP
展开
-
动手学深度学习task5
卷积神经网络原创 2020-02-19 18:50:46 · 68 阅读 · 0 评论 -
动手学深度学习task4
机器翻译 与seq2seq 由于机器翻译任务中输入输出都是不定长序列,我们可以使用编码器—解码器(encoder-decoder)或者seq2seq模型 。 注意力机制 attention模仿人类注意力,能让模型更关注数据的局部。 ...原创 2020-02-19 18:48:21 · 117 阅读 · 0 评论 -
动手学深度学习task3
过拟合、欠拟合及其解决方案 欠拟合解决方案: 添加其它的特征项 添加多项式特征 减少正则化参数 过拟合解决方案: 增加训练样本 权值衰减 dropout 梯度消失、梯度爆炸 梯度爆炸 如果在连续乘法中出现一个非常大的值,计算出一个很大的梯度值,如果以这个梯度值进行更新,那么这次迭代的步长就很大,可能会一下子飞出了合理的区域。 可以通过梯度裁剪的方法解决。 梯度消失 如果连续乘法中出现一个较小的值,...原创 2020-02-19 18:41:57 · 93 阅读 · 0 评论 -
动手学深度学习task2
动手学深度学习task2 文本预处理 主要为分词,在英文文本中一个空格隔开两个词语,在中文文本则需要使用分词技术,一般采用jieba分词,速度比较快,实际测试中thulac具有比较好的效果。 -语言模型 基于统计的语言模型,N元语法模型 -循环神经网络基础 ...原创 2020-02-14 21:27:01 · 88 阅读 · 0 评论 -
动手学深度学习task1
动手学深度学习task1 线性回归 线性回归损失函数为: 这里使用平方损失函数。 softmax softmax是将多个类别的概率归一化。 训练中使用,而在预测中可以省略,直接取值最高者。 ...原创 2020-02-14 21:20:16 · 79 阅读 · 0 评论