![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
DL基本知识
文章平均质量分 76
深度学习
LightYoungLee
啊嘿嘿啊哈哈
展开
-
DL基本知识(七)FTRL优化器
随笔:寻优过程是随机选择一个样本进行梯度更新,很多情况下L1正则化也不会导致选择的最优值落在"角"上,因而稀疏性也不是这么明显。原创 2021-11-27 20:59:03 · 1955 阅读 · 0 评论 -
DL基本知识(六)循环神经网络
RNN与CNN不同的点在于其将时间维度引入模型中,整体示意图如下所示。可以看出下图每一个cell都比较简单,只有一个tanh操作,ht−1h_{t-1}ht−1和hth_tht之间的转移关系如下所示:ht=tanh(Wh⋅[ht−1,xt]+bh)h_t =tanh(W_h\cdot [h_{t-1}, x_t] + b_h)ht=tanh(Wh⋅[ht−1,xt]+bh)从上述公式可以看出,RNN本时刻的隐藏层信息只来源于当前输入和上一时刻的隐藏层信息,没有记忆功能,因而无法处理长期依原创 2021-05-24 16:09:26 · 326 阅读 · 5 评论 -
DL基本知识(五)神经网络经典模型
resnet模型层数加深后效果会有退化,这不是过拟合的原因(训练和测试的误差都很高),也不是梯度消失的问题(有BN),因而这些极深的模型学偏了,忘记了初心,即学习"什么都不做"在网络加深的过程中会变得越来越困难。resnet通过恒等映射来解决上述问题,其中关键点在于映射的shortcut,示意图如下所示:可以看出,模型拟合的输入+残差,而不是简单的一个输出,这样的一个好处是反向传播过程中梯度不会很快的衰减下去,示例图如下所示:densenetdensenet比resnet还狠,它的shortcu原创 2021-04-27 16:02:03 · 246 阅读 · 0 评论 -
DL基本知识(四)权重矩阵初始化
概述权重矩阵初始化的好坏能够直接决定深度学习模型收敛后的效果,因而这里专门开一个专题来讲述这部分内容,后文会讲述几个比较有代表性的权重矩阵初始化的方法。全0初始化如果每一层的权重都是0,则只有最后一层的参数可以得到更新,其他层的参数一直为0,具体推导过程如下:{a3=f(w13a1+w23a2)a4=f(w14a1+w24a2)a5=w35a3+w45a4\left\{\begin{matrix}a_3 = f(w_{13}a_1+w_{23}a_2)\\ a_4 = f(w_{14}a_1+原创 2021-03-21 18:57:15 · 1241 阅读 · 0 评论 -
竞赛(一)kaggle mercari
题目简介https://www.kaggle.com/c/mercari-price-suggestion-challenge参考解题思路链接https://www.kaggle.com/agrigorev/tensorflow-starter-conv1d-embeddings-0-442-lb整体思路namedesccatbrandcondshipconcat代码https://github.com/gmlyytt-YANG/merc原创 2020-07-08 08:10:52 · 868 阅读 · 1 评论 -
DL基本知识(三)各类深度学习优化器简介
梯度下降中的momentum原创 2017-11-20 19:40:32 · 1937 阅读 · 0 评论 -
DL基本知识(二)反向传播推导&python实现
这篇博客的适用人群是对于卷积神经网络的基本结构和每个模块都基本了解的同学。博客主要内容:1. 自定义神经网络搭建过程2. 反向传播过程中矩阵求导3. 反向传播过程中激活函数求导4. BONUS 反向传播过程中的正则化原创 2017-08-19 21:53:45 · 2481 阅读 · 0 评论 -
DL基本知识(一)入门级卷积神经网络
卷积神经网络入门介绍原创 2017-08-01 16:40:04 · 904 阅读 · 0 评论