- 博客(10)
- 收藏
- 关注
RSS订阅原创 深度学习入门笔记 Day10/15 与学习相关的技巧（二）
一、如何使用Weight Decay权值衰减或者Dropout技术缓解过拟合？过拟合现象是指在训练集中表现优秀，但是在其他未知的数据集上表现很差的现象。由于很多过拟合原本就是因为权重参数取值过大才发生的。Weight Decay权值衰减法是通过最小化权值的二范数，使得所有权值都为最小。如果网络的模型变得很复杂，只用权值衰减就难以应对了。在这种情况下，我们经常会使用 Dropout 方法...
2019-05-25 21:52:09
235
原创 深度学习入门笔记 Day9/15 与学习相关的技巧（一）
一、为什么SGD不够完美1. 在输入参数的系数相差较为巨大的时候，比如：的时候，由于参数变化对于y的影响比参数变化要小得多，那么在更新参数的时候，对于x1的更新就很不明显，虽然上式的最小值明显在处，但是如果选择初始值可能最终收敛到的地方是。2. 学习率对SGD影响也很大，如果选择得过大，可能最终无法收敛；选择得不适合，可能收敛速度很慢；选择得过小，学习效率太低。二、什么是...
2019-05-24 16:23:50
148
原创 深度学习入门笔记 Day8/15 误差反向传播法（二）
一、如何实现加法层和乘法层用代码实现昨天的苹果、橘子问题。这里的layer应该理解为节点，MulLayer是乘法节点的实现，AddLayer是加法节点的实现。对于每个节点声明一个类变量mul_apple_layer = MulLayer() #节点1，乘法节点，苹果单价*苹果个数mul_orange_layer = MulLayer() #节点2，乘法节点，橘子单...
2019-05-23 18:31:44
665
原创 深度学习入门笔记 Day7/15 误差反向传播（一）
辛苦码了好多字，都不见了，破网速。。。不干了，撂挑子了。。。一、什么是计算图？将计算过程用图形表示出来。二、什么是反向传播的链式法则？复合函数求导可以层层求导。三、如何实现乘法和加法的反向传播？...
2019-05-22 16:05:54
198
原创 深度学习入门笔记 Day6/15 神经网络（四）
一、什么是数值微分数值微分就是用求导数近似值的方法。取或其他较小的数，则函数在x点处的导数等于：用python等计算机语言实现时，要注意，并不是越小越好，因为计算机的存储空间有限，32位单精度浮点数可表达的数字范围在-3.40E+38 ~ +3.40E+38之间。例子：，求其在x=1处的导数# 函数表达式def fx(x): return x**2#...
2019-05-21 16:07:23
565
原创 深度学习入门笔记 Day5/15 神经网络（三）
一、可否从数据中自动学习神经网络的权重参数？当然可以，不然学深度学习干啥！神经网络的特征就是可以从数据中学习。所谓“从数据中学习”，是指可以由数据自动决定权重参数的值。深度学习、机器学习的区别：深度学习的优势在于不需要人为挑选特征值。https://blog.csdn.net/eowyn0406/article/details/86690667二、为什么要将数据划分为训练数据和测试...
2019-05-20 16:48:01
275
原创 深度学习入门笔记 Day4/15 神经网络（二）
一、如何使用Numpy数组实现一个权重既定的三层神经网络的前向传播？import numpy as npdef identity_function(x): return xdef init_network(): network ={} network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]]...
2019-05-19 20:53:52
273
原创 深度学习入门笔记 Day3/15 神经网络（一）
一、什么是神经网络，它和多层感知机的区别是什么？神经网络和多层感知机的结构是类似的，区别有两点：1. 多层感知机的偏置b在神经网络结构里变成了一个常数输入1的权重。2. 感知机的激活函数是阶跃函数（在0处不连续），神经网络则使用的是其他连续函数，如sigmoid，ReLU等。二、为什么需要激活函数？激活函数是用来建立输入的加权和（WX）与输出（Y）的关系。三、常...
2019-05-18 16:31:15
209
原创 深度学习入门笔记 Day2/15 感知机
一、感知机是什么？感知机是一种算法，把多个输入信号按一定的逻辑关系进行输出（一个输出），单层感知机公式如下：通过调整权重和阈值，可以用来实现各种逻辑电路。二、如何用单层感知机实现各种逻辑电路？比如或门：设置权重和阈值 w1=0.5,w2=0.5,theta=0.3即可，这个值不唯一，自己试试，无限多种组合方式。# 或门# w1=0.5,w2=0.5,theta=0.3...
2019-05-17 12:35:28
342
原创 深度学习入门笔记 Day1/15
第一章 Python入门 Day1/151.2 Python的安装另外安装了一个Python的IDE：pyCharm经常使用的两个外部库： a. Numpy：用于数值运算 import numpy as np(可以改名) b. Matplotlib：用于绘图 import matplotlib.pyplot as plt(可以改名)--------...
2019-05-16 11:49:09
172
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人