深度学习
文章平均质量分 92
宇过天晴li
认真分享自己的学习体会,愿共同进步。
展开
-
浅层神经网络总结
最近又重新温习了吴恩达的《深度学习》课程,再看一遍时还是产生了许多感悟。吴大佬的视频真的非常不错,通俗易懂,适合入门。所以我趁热打铁,写一个笔记形式的博客,表达对视频课程的理解和感悟。同时一些内容还会集合其他的书籍或博客。什么是神经网络?这里的神经网络是指人工神经网络 (Artificial Neural Network),它由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种...原创 2018-06-26 20:23:20 · 9799 阅读 · 4 评论 -
交叉熵损失函中对softmax函数输入单元求导过程
最近在回顾关于深度学习的基础知识。在求神经网络梯度的时候损失函数对于网络最后一层输入单元的求导是比较有技巧的。比如在多类别分类任务中经常用交叉熵损失函数训练softmax来输出目标值y。这一组合在对softmax输入单元的求梯度会非常简单,而且损失函数中的log可以抵消softmax中的exp。下面我就来推导交叉熵损失函中对softmax函数输入单元求导过程。 下图便是手动推导过程,我们的...原创 2019-02-18 11:00:55 · 741 阅读 · 0 评论 -
两层全连接网络的构建及求参数梯度的代码实现
两层全连接网络的构建及求参数梯度的代码实现上一篇文章写了使用softmax进行多类别分类时使用的交叉熵损失函数对softmax输入单元求导的公式推导。最后求出来的导数非常简单,我不禁感叹设计者的睿智。这篇文章我将利用上次的推导结果实现一个简单的两层全连接神经网络用于多类别分类。代码将给出网络的前向传播过程、求loss损失、以及对网络中参数的求梯度。代码的实现用到了numpy,并没有使用更高级的深...原创 2019-02-21 09:56:51 · 1479 阅读 · 0 评论