深度学习理论
文章平均质量分 81
深度学习的一些基础性的知识的讲解,权当自己的笔记了
Teeyohuang
数据挖掘工程师(菜鸡)
展开
-
深度学习基础知识(〇)--- 目录
本系列涉及深度学习中的一些较为常见的、基础的知识点:点击标题即可跳转到相应的博文页面1. 权重初始化2. 卷积网络 与 池化操作3. Normalization 操作4. 激活函数5. dropout 操作6. 损失函数7. 优化方法个人水平有限,难免挂一漏万,欢迎赐教指正。...原创 2020-01-30 23:22:30 · 698 阅读 · 2 评论 -
深度学习基础知识(一)--- 权重初始化
1、为什么需要权重初始化?① 为了使神经网络在合理的时间内收敛② 为了尽量避免在深度神经网络的正向(前向)传播过程中层激活函数的输出梯度出现爆炸或消失。2、如何进行初始化?①如果将每个隐藏单元的参数都初始化为0那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值,并传递至输出层。在反向传播中,每个隐藏单元的参数梯度值相等。因此,这些参数在使用基于梯度的优化算法迭...原创 2019-12-01 23:23:58 · 5751 阅读 · 0 评论 -
深度学习基础知识(二)--- 卷积操作与池化操作
这里并不介绍卷积操作具体是如何进行的,关于这点,很多文章都有介绍。本文主要介绍一下 为何会广泛使用卷积操作?参考资料:《Deep Learning》https://mooc.study.163.com/learn/2001281004?tid=2001392030#/learn/content?type=detail&id=2001728690卷积运算 ...原创 2019-12-02 19:53:31 · 2069 阅读 · 1 评论 -
深度学习基础知识(三)--- Normalization 规范化 操作
本文部分过程和图片来源于以下参考资料参考资料:知乎专栏 - 张俊林 - 深度学习中的Normalization模型 - https://zhuanlan.zhihu.com/p/43200897知乎专栏 - Juliuszh - 详解深度学习中的Normalization,BN/LN/WN - https://zhuanlan.zhihu.com/p/33173246CSDN ...原创 2019-12-29 20:19:47 · 5180 阅读 · 3 评论 -
深度学习基础知识(四)--- 激活函数
激活函数也就是一些非线性单元,如果不用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。如果使用的话,激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。参考文章:https://zhuanlan.zhihu.com/p/251104501.sigmoidsi...原创 2020-01-18 13:52:14 · 781 阅读 · 0 评论 -
深度学习基础知识(五)--- dropout
dropout 可以看作是一种实用的bagging的方法,即模型平均思想的一种运用。因为模型平均要对训练集有放回的采样,得到多个不同的训练集,再训练多个不同的模型,在测试阶段由多个不同的模型 表决 或者 平均 来做出最终预测。但是对于深度神经网络而言,训练多个不同的模型 可能不切实际,会耗费大量时间和计算力,dropout 对神经元随机失活,也就是说前传的过程中...原创 2020-01-19 23:00:49 · 715 阅读 · 0 评论 -
深度学习基础知识(六)--- 损失函数
1.L1损失(绝对损失函数) 和 L2 损失(平方损失函数)L1范数损失函数,也被称为 最小绝对值偏差(LAD),最小绝对值误差(LAE)。总的说来,它是把目标值(Yi)与估计值(f(xi))的绝对差值的总和(S)最小化:L2范数损失函数,也被称为最小平方误差(LSE)。总的来说,它是把目标值(Yi)与估计值(f(xi))的差值的平方和(S)最小化:2. M...原创 2020-01-30 21:05:27 · 2146 阅读 · 0 评论 -
深度学习基础知识(七)--- 各种优化方法
深度学习常用的优化方法参考资料:《Deep Learning》、pytorch 文档深度学习中,优化算法的 目标函数 通常是一个基于训练集的损失函数,优化的目标在于降低训练误差。这意味着用训练集上的 经验分布 代替 真实分布。最小化这种平均训练误差的训练过程,被称为经验风险最小化(empirical risk minimization)1.Stochastic ...原创 2020-01-30 21:30:06 · 1659 阅读 · 0 评论