动手学深度
Ivan_禧
这个作者很懒,什么都没留下…
展开
-
动手学深度 - Task08
数据增强、模型微调、文本分类 数据增强 通过对数据进行翻转、增加噪声、调整色调亮度等等操作,提高模型的泛化能力。 模型微调 属于迁移学习的范畴,学习如何将别人训练好的模型嫁接到目标项目上 里面讲到一个技巧是,将输出层参数随机初始化,而隐藏层不变 学习过程中,隐藏层用较小的学习率,输出层用较大的学习率 嗯,都是很common sense的内容了 文本分类 对于文本,用一维卷积核进行特征提取 而且需要...原创 2020-02-25 15:59:45 · 93 阅读 · 0 评论 -
动手学深度 - Task07
梯度下降优化算法进阶、Word2Vec、词嵌入进阶 梯度下降优化算法进阶 当函数的二阶梯度矩阵(海森矩阵)对角线上元素(二阶导数)相差过大时(最大最小比值大于10),则出现ill condition, ill condition 准确的描述是海森矩阵特征值,最大最小的比值。两者的差异? 出现ill condition时,梯度在不同方向上具有较大差异,导致难以收敛 为此提出了许多改进的算法,核心思路...原创 2020-02-25 01:30:12 · 91 阅读 · 0 评论 -
动手学深度 - Task06
批量归一化和残差网络;凸优化;梯度下降 批量归一化 全连接在激活函数前归一化, 对于卷积层,则是在卷积之后。 全连接的归一化,是每一个神经元计算一个批量均值与方差;而对于卷积后的批量,是每一个通道计算一个批量的均值与方差。 思考点:为什么是一个通道做归一化,而不是通道的每个单元做归一化? 答案很显然,每一个通道即一张feature map,而作为feature,做平移与标准化并不会改变featur...原创 2020-02-23 02:11:12 · 90 阅读 · 0 评论 -
动手学深度 - Task05
卷积神经网络基础; lenet; 卷积神经网络进阶 之前就看过,这次再看,复习的同时也是学习如何通过pytorch实现吧 然后吐槽一下,看完视频,感觉就学会了结算卷积后下一层神经元的维度。。。通道数长宽。。。 然后深度卷积仿佛就像搭积木,然后就是不断的“创新”,好吧,对于小弟来说,学会用几个现成的框架解决问题足矣 ...原创 2020-02-19 21:58:06 · 77 阅读 · 0 评论 -
动手学深度-Task04
思考:课程中提到了beam search 觉得讲的太粗略,而且例子给的不清晰,留下两个疑问 在beam search里面,每一个保留的是所有搜索的top k最优,还是一开始分成k个子搜索,然后每一步保留子搜索的最优? 最终有k个结果,如何选择最优? 机器翻译与 seq2seq模型 最核心的概念, encoder 与 decoder 这个框架其实可以用在许多地方,比如图像生成,风格转移等等 简单...原创 2020-02-19 21:52:10 · 66 阅读 · 0 评论 -
动手学深度-Task03
疑问及思考:对于梯度爆炸与梯度消失的影响理解还不透彻,只知道多层神经网络后梯度可能趋于非常大或者接近0 的值, 但实际上呢?例如权重裁剪,可以解决爆炸的问题吗?会不会反而带来了梯度消失的问题?这种是不是得通过实验来获得感性认识。 过拟合、欠拟合以及解决方案; 梯度消失梯度爆炸;循环神经网络进阶 训练集、验证集、测试集 验证集与测试集的差异 验证集用于调参,而测试集仅仅用于评价模型好坏,不能用于调参...原创 2020-02-19 21:39:34 · 88 阅读 · 0 评论 -
动手学深度-Task02
先占个坑。。。 文本预处理 语言模型 循环神经网络 目前还不清晰的在随机采样 与 相邻采样 原理都懂。。。 就是程序实现起来需要时间熟悉与琢磨 希望之后能赶上进度 ...原创 2020-02-14 21:53:38 · 87 阅读 · 0 评论 -
动手学深度-Task1
以为课程真的从小白开始,结果上来就是pytorch, 机器学习向来”动口不动手“(惭愧)的我,一下子就蒙蔽了,里面很多对象用法以及函数都是完全蒙圈,咋办?自己从零开始。。。 基本概念 tensor 张量,跟numpy中的ndarray 多维数组很像,但不一样的在于tensor能被gpu加速,待加深理解 动态计算图 动态计算图(Dynamic Computation Graph)是PyTorch的最...原创 2020-02-14 19:40:20 · 148 阅读 · 0 评论