神经网络结构
Better-1
这个作者很懒,什么都没留下…
展开
-
误差反向传播算法BP
一个例子简单明了:其实就是链式法则,根据你想求导的两个值,来拆分,中间有权值、激活关系,层层递进,都是以误差为分子,要改变的权重为分母来求导。里面涉及到的公式有:所以,中间层与输出层之间的连接权重的调整如下:调整值如下:2. 输入层与中间层之间的连接权重的调整综上,求得输入层和中间层的连接权重调整如下:...原创 2020-06-12 15:53:23 · 275 阅读 · 0 评论 -
深度学习专题-计算机视觉一
早期的图像处理技术:特征提取-索引技术-相关反馈-重排序简单的特征变换包括了:中心化,变量减去它的均值,相当于平移之后,所有数据觉得中心是(0,0);归一化,指的是,所有数据减去均值再除以标准差;去相关,消除或减弱多光谱图像波段之间的相关性:KL变换、HIS(色度、亮度、饱和度)变换;白化:使图像的像素值转化为零均值和单位方差。特征提取-索引技术-相关反馈-重排序KD-tre...原创 2020-05-11 23:52:11 · 366 阅读 · 0 评论 -
单层感知器代码完整实例
np.random.random(10)是生成10个0-1的随机数,没有负值。numpy.random.rand()产生从[0,1)[0,1)[0,1)之间的随机数,没有负值。numpy.random.randn()产生服从正态分布的随机数,会出现负值。三个输入神经元,一个输出神经元。import numpy as npimport matplotlib.pyplot as plt# ...原创 2020-04-19 11:22:25 · 1383 阅读 · 0 评论 -
生成模型-编码器与预训练
模型包括了生成模型(无监督学习)、判别模型(有监督学习)。下面介绍生成模型中的编码器:1.自编码器表征学习,可重构样本的特征。可用于CNN早期参数的初始化。是基于无监督学习的的神经网络。—预训练编码和解码的两个W可以相同,即权值共享。误差是重构前后的特征的difference!误差反向传播,可用最小二乘法 和交叉熵函数2.降噪自编码器与自编码器的区别是降噪的输入向训练样本加入了随机...原创 2020-04-18 17:21:42 · 2033 阅读 · 0 评论 -
梯度下降方法及实例
首先,梯度下降最直观就是方向的选择问题,从山顶往山底,每次沿着梯度的方向(最抖的方向)往下,路程是最短的。梯度下降的目的是最小化损失函数。梯度下降的三种方法:Batch gradient descent: 每一步的梯度下降都使用了所有的训练样本,所有样本梯度的平均值。缺点是计算量大,内存消耗大。优点:全局最优解;易于并行实现。SGD 随机梯度下降,每个样本都计算一次梯度并下降。训练速度快,...原创 2020-04-18 15:07:03 · 2100 阅读 · 0 评论 -
转载-训练集、测试集loss容易出现的问题总结
train loss 不断下降,test loss不断下降:说明网络仍在学习;train loss 不断下降,test loss趋于不变:说明网络过拟合;train loss 趋于不变,test loss不断下降:说明数据集100%有问题;train loss 趋于不变,test loss趋于不变:说明学习遇到瓶颈,需要减小学习率或批量数目;或者是数据集有问题(数据集标注错误数据比较多)t...原创 2020-03-07 11:44:12 · 693 阅读 · 0 评论 -
神经网络激活函数的总结
激活函数很多,目前我接触到的有tanh(双曲正切)、sigmoid函数以及relu函数,这三个应该是比较主流的。目前本人也是初步学习,通过后面的学习慢慢补充经验。首先最先接触到的是sigmoid函数,公式如下图。特性是输出介于0和1之间,当z≥10,a≈1,此时的导数≈0;当z≤-10,a≈0,导数≈0;z=0时,a=0.5,导数等于1/4,通过图片的曲线可以看出。因为sigmoid的输出...原创 2020-02-07 22:36:39 · 223 阅读 · 0 评论