- 博客(6)
- 收藏
- 关注
RSS订阅原创 神经网络中的激活函数
一、为什么需要激活函数？首先回忆一下单层感知器的结构。在前面的文章中，我们提到了感知器，单层感知器的基本表达式如式（1）所示，假设该表达式中如果去除激活函数f，则每一层输出的都是上一层输入的线性函数，无法解决非线性问题，因此我们需要通过激活函数将非线性因素引入网络中。还记得之前的异或问题吗？我们采用的是多层感知器去进行分类，其中使用的激活函数是step激活函数（即阶跃函数），因此基于这一点我们可以看出激活函数有助于解决非线性问题。多层感知器确实能够解决异或问题等非线性问题，但是因为step函数是线性
2020-08-15 20:56:33
2035
原创 误差反向传播算法（BP）和梯度下降算法
为什么需要反向传播算法在多层感知器中，输入数据从输入层输入，经过中间层（隐层），最终从输出层输出。但是由于误差修正学习无法跨层调整，因此修正学习法一般只用于中间层（隐层）与输出层之间，而输入和中间层之间的连接权重采用随机数确定，这就存在输入数据不同，但在中间层的值却相同的问题，影响分类准确性。针对该问题，鲁梅尔哈特的人于1986年提出了误差反向传播算法，该算法使得神经网络再次回到人们的视野。什么是误差反向传播算法？通过比较实际输出和期望输出得到的误差信号，把误差信号从输出层逐层向前传播,得到各层的误差
2020-08-12 13:06:38
2946
原创 导数、偏导数、方向导数和梯度的基本介绍
由于误差反向传播算法中采用梯度下降算法进行权重更新，因此需要先明白梯度是什么，而梯度的解释又要从导数讲起，因此本文先大致讲解一下导数导数、偏导数、方向导数和梯度的物理意义。1、导数根据我们以前的学习，导数的几何意义表示该点的切线，如果从其物理意义来看，导数表示在自变量变化趋于无穷小的时候，函数值的变化与自变量变化的比值，即变化率。如果函数中只有一个自变量（即一元函数），那么表示只存在一个方向的变化率。问题：如果函数具有两个自变量，那我们怎么去确定其变化率？这时候需要引入偏导数。2、偏导数如果
2020-08-12 12:35:37
1977
原创 神经网络学习之感知器
基于M-P模型中权重参数需要人为设置的问题，1958年罗森布拉特（Roseblatt）提出了感知器，经过训练，计算机能够确定神经元的连接权重，由此，神经网络迎来了第一次热潮。单层感知器感知器结构感知器主要有输入层和输出层，其中，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。表达式感知器如何自动确定参数？误差修正学习策略：设定训练样本和期望输出，然后调整实际输出和期望输出之差。参数自动调整策略如图所示：其中a是连接权重调整数值的参数，用于控制误差修正速度，增加其值则增大则增
2020-08-12 11:21:46
1915
原创 神经网络学习之一——M-P模型
神经网络学习之一——M-P模型M-P模型是什么？M-P模型是于1943年美国神经生理学家沃伦 麦卡洛克（Warren McCuloch）和数学家沃尔特 皮茨(Walter Pitts)提出，是首个通过模仿神经元而形成的模型，结构图如下所示。表达式为式（1），其中设各节点权重之和为s，表达式为式（2）表达式解析：M-P模型的规则结合STEP激活函数，当所有输入与对应的连接权重的乘积之和s大于阈值h，则输出y=1，否则输出y=0。其中xi取值为0或1，wi和h根据情况自行设置。M-P模型的规
2020-08-12 11:02:40
7441
原创 人工智能、机器学习与深度学习的简介
人工智能、机器学习与深度学习的基本介绍一、人工智能、机器学习与深度学习的联系是什么？1、人工智能 AI（Artificial Intelligenc）为机器赋予人的智能，能够感知、推理、行动和适应的程序。2、机器学习 ML（Machine Learning）实现人工智能的方法，能够随着数据量的增加不断提高性能。3、深度学习 DL（Deep Learning）深度学习是一种机器学习方法，是机器学习的第二次浪潮。三者关系图如下：二、机器学习是什么？机器学习是从已知数据中获取规律，并利用规律
2020-08-12 10:39:52
804
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人