![](https://img-blog.csdnimg.cn/20200724131538170.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 92
深度学习理论与实践经验
一只干巴巴的海绵
这个作者很懒,什么都没留下…
展开
-
训练深度学习神经网络时如何选择损失函数
1. 回归的损失函数:均方误差损失,平均平方对数误差损失,平均绝对误差损失;2. 二值分类损失函数:二叉熵、Hinge损失、Squared Hinge损失;3. 多类分类损失函数:多类交叉熵损失、稀疏多类交叉熵损失、Kullback Leibler散度损失。翻译 2020-07-17 23:11:06 · 10158 阅读 · 1 评论 -
【DL】循环神经网络RNN、长短期记忆网络LSTM、门控循环单元网络GRU
LSTM相比一般RNN的优势理解 LSTM 网络当我们在谈论 Deep Learning:RNN 其常见架构原创 2020-05-24 20:48:35 · 2200 阅读 · 0 评论 -
感知机与BP神经网络详细推导
文章目录神经元常见的激活函数输出层激活函数感知机感知机学习损失函数感知机学习算法感知机拓扑结构多层前馈神经网络神经网络的学习:误差逆传播算法(BP算法)标准BP算法累积BP算法BP网络的过拟合BP网络的全局极小神经元 M-P神经元模型中,神经元接收到来自nnn个其他蛇精原传递过来的输入信号x1,...,xnx_1,...,x_nx1,...,xn,这些输入信号通过带权重的连接w⋅xw\...原创 2020-04-05 15:47:59 · 409 阅读 · 0 评论 -
【DL】为什么需要深度学习:模组化、端到端学习(语音识别、图像处理情景)、类比逻辑电路
语音识别图像处理端对端学习模组化原创 2020-05-10 21:18:48 · 1027 阅读 · 0 评论 -
【DL】卷积神经网络CNN
卷积神经网络常用于做图像处理;一般的深层神经网络做图像处理,会有很多的参数:例如一个像素为100×100100\times100100×100的图像,倘若第一层有1000个神经元,第一层神经网络就会有3×100×100×10003\times100\times100\times10003×100×100×1000个参数(向量);卷积神经网络是一种简化的网络架构;期望的神经网络:每个神经元...原创 2020-05-07 23:34:36 · 813 阅读 · 0 评论 -
【DL】深层神经网络学习方法与学习技巧
深度学习的发展史原创 2020-05-03 22:50:33 · 360 阅读 · 0 评论 -
【DL-吴恩达-神经网络与深度学习-03&04】浅层神经网络与深层神经网络
浅层神经网络神经网络神经元神经元:线性运算+非线性运算神经网络的表示神经网络及符号定义隐藏层、输出层计入层数,输入层不计入层数,下图的神经网称为两层神经网络或单隐层神经网络上标方括号内数字表示所在的层数,上标圆括号表示数据,下标表示前向计算单个样本(隐藏层)分量形式,x=[x1,x2,x3]Tx=[x_1,x_2,x_3]^Tx=[x1,x2,x3]T...原创 2020-05-02 13:06:43 · 703 阅读 · 0 评论 -
【DL-吴恩达-神经网络与深度学习-02】神经网络的编程基础
二分类问题符号表示假设有一张图片作为输入,比如这只猫,如果识别这张图片为猫,则输出标签1作为结果;如果识别出不是猫,那么输出标签0作为结果。为了在计算机中保存一张图片,需要保存三个矩阵,它们分别对应图片中的红、绿、蓝三种颜色通道,如果图片大小为64x64像素,那么有三个规模为64x64的矩阵,分别对应图片中红、绿、蓝三种像素的强度值。为了把这些像素值放到一个特征向量中,需要把这些像素值按照红...原创 2020-04-30 15:07:44 · 226 阅读 · 0 评论 -
【DL】深度学习优化方法:SGD、SGDM、Adagrad、RMSProp、Adam
Gradient Descent1. 算法框架2. 理论原理假设参数θ\thetaθ是二维的,损失函数在(a,b)(a,b)(a,b)处的一阶泰勒展开,L(θ)=L(a,b)+∂L(a,b)∂θ1(θ1−a)+∂L(a,b)∂θ2(θ2−b)+o(θ1−a)+o(θ2−b)L(\theta)=L(a,b)+\frac{\partial L(a,b)}{\partial \theta_1}...原创 2020-04-29 20:26:28 · 2607 阅读 · 0 评论 -
【DL-吴恩达-神经网络与深度学习-01】引言
深度学习笔记(黄海广)github(黄海广等)课后作业1课后作业2AI学习的开源项目课程设置神经网络与深度学习如何建立一个神经网络,包括深度神经网络如何在数据上训练神经网络用一个神经网络辨认猫改善深层神经网络:超参数调试、正则化及优化神经网络的编程知识严密地构建神经网络,如何真正让它表现良好,因此要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法,比如...原创 2020-04-27 21:21:30 · 171 阅读 · 0 评论