![](https://img-blog.csdnimg.cn/20190910225801318.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习理论
Watch_dou
一名算法工程师,欢迎交流,由于比较忙,来不及回复评论,有事可以私戳我
展开
-
ResNet
为什么引入残差网络?我们可能会想到网络越深拟合越好,然而并非如此,很深的网络很容易导致网络退化问题,增加shortcut mapping有利于梯度传播。加入直连部分,可以使得梯度从后向前传播,网络扩展到上千层。warm up用一个较大的模型训练时,采用较小的学习率(小于一般状况下10倍的学习率)预热模型一个epoch步,随后增大学习率。网络开始迅速降低分辨率四阶段残差结构池化 + RC输出...原创 2020-10-30 14:47:45 · 390 阅读 · 1 评论 -
DL理论笔记与理解
gradient的方向代表函数值增大的方向(这个方向由沿着各个轴方向偏导方向综合的方向),大小代表函数值变化的快慢。 导数概念很大,偏导是沿着某方向上的导,梯度是沿着各个方向数偏导的向量。 softmax函数叫这个的原因,把原来较大的数值压缩成相对的大数,把原来较小的数压缩在密集的空间,把数据间的margin压缩得越来越大,这就类似金字塔效应,你能力比别人强一些,得到的收益可能比别人强太多。...原创 2019-11-14 21:38:25 · 630 阅读 · 0 评论 -
梯度下降你真的懂吗
已知:(X,Y)=(X,f(x))对应的数据(1,1),(2,1.8),(3,3.2),(4,3.8),(5,5.25),找到这些点拟合出的函数?假设: 的函数最简单的形式为h(x)=θxh(x)=\theta xh(x)=θx目标:minθL(θ)=12N∑i(h(xi)−f(xi))2\min_{ \theta} L(\theta)=\frac{1}{2N} \sum_{i} \le...原创 2019-10-09 13:48:13 · 196 阅读 · 0 评论 -
L-P norm你真的懂吗
L-P norm公式如下:∥x∥p=(∑i∈N∣xi∣p)1/p \left\| x \right\| _p = \bigg( \sum_{ i \in \mathbb N} \left| x_i \right| ^p \bigg) ^{1/p} ∥x∥p=(i∈N∑∣xi∣p)1/pL-P代表什么L0——>向量非零元素数目L1——>曼哈顿距离L2——>欧式距离L...原创 2019-10-09 13:50:45 · 2082 阅读 · 0 评论 -
行列式的值你真的懂吗
有如下2*2行列式:∣A∣=∣abcd∣=ad−bc=向量(a,b)与(c,d)围成平行四边形的面积 \left|\begin{matrix} A \end{matrix}\right| = \left|\begin{matrix} a & b \\ c & d \end{matrix}\right| =ad-bc=向量(a,b)与(c,d)围成...原创 2019-10-09 13:47:17 · 5318 阅读 · 1 评论 -
KL散度非负证明推导
原创 2019-09-30 13:14:29 · 2867 阅读 · 4 评论 -
人工智能、神经网络、深度学习重要会议
NIPS,神经信息处理系统 ICML,国际机器学习大会 ICLR,International Conference on Learning Representations ICASSP,国际声学、诧音不信号处理会议 IJCNN,International Joint Conference on Neural Networks IJCAI,I原创 2018-02-03 15:42:28 · 1558 阅读 · 0 评论