![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 59
小小草帽
Interests: 深度学习、图像理解,AR,VR(欢迎交流)
展开
-
【机器学习】反向传播推导
链式法则(Chain Rule) 链式法则通常有两种情形: Case 1 Case 2 反向传播(Backpropagation) 反向传播过程中,我们要算每一个输出结点的损失,因此损失函数是每个输出几点关于标签的损失之和。 反向传播又可以分为两个部分:Forward pass 和 Backward pass。 Forward Pass 在Forward pass中我们的目标是计算权重w对z的偏微分。 Backward Pass 在Backward pass中,计算z对l的偏微分。原创 2021-08-13 17:29:26 · 345 阅读 · 0 评论 -
【机器学习】深度学习发展回顾
Ups and downs of Deep Learning 1958年 感知机(Perceptron:linear model)被提出 1958年 发现了感知机的局限性 1980s年 提出了多层感知机(Multi-layer perceptron):与今天的深度神经网络没有太大差异 1986年 反向传播(Backpropagation)被提出:但隐藏层如果超过3层,结果就不会很好 1989年 是否一层的隐藏层就足够好了,为什么要进行深度 2006年 提出了受限玻尔兹曼机(RBM),使得Deep Learn原创 2021-08-13 11:45:42 · 724 阅读 · 0 评论