![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
神经网络学习笔记
黑脚印_DarkSpoor
看尽天下代码,心中自然有码。
展开
-
神经网络后向传播计算过程
神经网络设置已经确定的前提下,如何优化网络中待求的参数呢?以一个2层神经网络举例说明如何优化网络参数。前向传播,计算过程如下:用一个统一的式子表达:为了计算y与Y之间的差距(y是前向传播算出的值,Y是标签值),引入损失函数(目标函数):梯度下降法寻找极值:以一维函数举例通过不断地迭代计算,就能找到一个x值,使y的值最小。训练网络的过程可以使用梯度下降法,找到一组参数值使损失函数的值达到最小。由于梯度下降法是从网络的右侧向左逐层...原创 2022-03-03 15:59:39 · 1380 阅读 · 0 评论 -
神经元到神经网络与前向传播
首先看一个平面坐标中的二分类问题:如上图所示,三角形内是第一个类别(用圆点表示),三角形外是第二个类别(用五角星表示)。满足以下不等式方程组的点在三角形内:将图中的点(1.5,1.5)带入不等式方程组由此验证点(1.5,1.5)在三角形内。将点(0.5,0.5) 带入不等式方程组由此验证点(0.5,0.5)不满足方程组,即点不在三角形内。平面内的任何一个点,都可以通过上面的不等式,判断出是否在三角形内,这样就可以解决二分类问题,三角形内是第一个类别,三角形..原创 2022-02-25 16:25:16 · 670 阅读 · 0 评论 -
感知机到神经元
感知机的表达式:式3的图像表达:设,将特定的函数换为更广范的函数。变换后的结果:很容易推广到n个输入的情况:h是所有信号的总和,f(h)是信号总和转换为输出信号的函数,这种函数一般称为激活函数。至此感知机进化到了神经元。感知机与神经元之间只有激活函数不同。感知机是神经元的一个特例。由于激活函数的不同,神经元的输出可以是离散的,也可以是连续的。常用的激活函数有:阶跃函数(感知机使用的激活函数):Sigmoid函数:...原创 2022-02-22 10:29:28 · 1783 阅读 · 0 评论 -
感知机:函数与逻辑运算
函数包含自变量,因变量与映射。首先定义一个函数,其数学表达式为通过调整常量A,B,C的取值,观察函数f(x1,x2)的输出有什么规律。将上表和逻辑与真值表做对比,会发现它们的运算结果是一致的。与真值表:调整常量的值,比如A=0.5 B=0.5 C=0.7 时,也可以得到逻辑与的运算结果。可见常量A,B,C的取值不是唯一的。与非真值表计算结果和与非真值表是一致的。或真值表计算结果和或真值表是一致的。表达式1...原创 2022-02-21 15:58:51 · 2020 阅读 · 0 评论