神经网络
文章平均质量分 53
楽楽gy
我现在是一名在读研究生,希望通过知识的分享,学到更多.
展开
-
神经网络基础知识简介
神经网络简介1 几种常见的神经元(1) 线性神经元(2) 二进制神经元(3) 逻辑神经元(sigmoid 神经元)(4) 随机二进制神经元 与逻辑神经元的区别在于,逻辑神经元的结果是一个分类结果,但是随机二进制神经元的结果是属于某类的概率2 学习任务的分类(1) 监督学习(supervis原创 2015-07-07 21:52:36 · 1342 阅读 · 0 评论 -
Mini-batch gradient
Mini-batchgradient1 gradient descent又可以被称为steepest descent2 梯度下降算法误差曲线:一般的梯度下降算法误差曲线是椭圆形的,这样就会存在问题,例如,实际要跨的步子可 能很小,但是梯度算法求解出来的步子很大;实际要跨的步子可能很大,但是梯度下降算 法求解出来的步子很 小。所以原创 2015-07-09 19:59:22 · 2045 阅读 · 0 评论 -
神经网络中反向误差反馈
反向反馈1 提出背景:1.1简单的只包含输入层和输出层的神经网络不能模拟复杂模型1.2为了提高神经网络使用的广泛性,可以像感知器一样,增加大量的特征1.3 神经网络的中心问题:(1)怎样学习多层神经网络(包含隐藏层)的特征;(2)怎样学习隐藏层的权重2 与随机的改变权重相比:2.1随机的改变权重方式是一种reinforcement learning,其目标是为了实现最优值。原创 2015-07-05 19:06:46 · 3533 阅读 · 0 评论 -
神经网络线性神经元
线性神经元1 提出背景:感知器神经元是通过每次改变权重(weight),实现结果收敛。即使得currentweight 不断的接近generous feasible weight.但是这样的做法并不适合于复杂的神经网络,比如非凸函数的网络(两个好的解决方法的平均值并不是一个好的解决方法)。为了解决这个问题,提出一种新的方法,用实际的输出结果不断接近指定的结果的过程取代当前权重不断接近最原创 2015-07-05 18:58:23 · 1388 阅读 · 0 评论 -
神经网络中的softmax函数
Softmax function1 提出背景对于一般的神经网络而言,误差函数为,但是这样的误差函数是会存在问题的:(1) 对于互斥分类问题的概率求解问题,必须要保证,但是如果采用上述的误差函数,是没有办法保证的(2) 对于分类问题,实际的结果是1,但是预测的结果是0.0000001,即好比实际的结果在x轴方向的,但是预测的结果却是y轴方向。那么,在缩小误差的过程中,就需要相当长原创 2015-07-07 21:53:45 · 8486 阅读 · 0 评论