- 博客(4)
- 收藏
- 关注
RSS订阅原创 批量归一化和残差网络
卷积神经网络基础卷积神经网络卷积神经网络已成为当前语音分析和和图像识别领域的研究热点卷积神经网络的显著特点是权值共享卷积神经网络本质上讲是一个多层感知器卷积神经网络发展1962年，Hubel和Wiesel通过对猫视觉皮层细胞的研究提出了感受野（receptive field）的概念1984年，日本学者（Fukushima）基于感受野概念提出的神经认知机，是感受野概念在人工神经网络领域...
2020-02-25 09:08:21
694
原创 梯度消失与爆炸
梯度消失问题的解决方法梯度消失问题Sigmoid函数梯度范围可能变得越来越小在反向传播超过5层后，梯度可能会消失激活函数ReLU函数（rectified linear unit）导数：ReLU可被近似为softplut函数x增加时ReLU的梯度不会消失，可以用来对正值输入进行建模，由于无需计算指数函数所以它的计算速度很快，使用它可以不再需要“预训练”过程。ResN...
2020-02-18 09:22:08
313
原创 反向传播算法
学习部分多层神经网络的有效算法之一是反向传播算法。它在1986年被重新提出，神经网络重新变得流行。通过反向传播学习神经网络预测输出双层前馈神经网络前馈预测其中，反向传播进行参数学习...
2020-02-14 13:18:08
132
原创 线性回归
#线性回归一维的线性回归和二次回归（都是线性模型）线性回归二次回归（一种泛化性模型）二维的线性回归模型##学习目标使预测值和真实值的距离越近越好损失函数测量预测值和真实值之间的误差，越小越好，具体损失函数的定义依赖于具体的数据和任务。最广泛使用的损失回归函数：平方误差（squared loss）##平方误差对预测误差大的有更大的惩罚，容忍很小的预测误差，观测误差等，提...
2020-02-14 12:34:00
845
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人