什么是深度学习
人工智能专业中,有一种算法叫做神经网络,如图所示:
隐藏层顾名思义是对外部来说是不可见的
隐藏层大于2的神经网络叫做深度神经网络
深度学习就是使用深层架构(比如,深度神经网络)的机器学习方法。
上面的规则定义了全连接神经网络结构,事实上还有其他神经网络:卷积神经网络(CNN)、循环神经网络(RNN),他们的连接方式都不同
深度网络相较于浅层网络:
优势:使用相对少的神经元就可以拟合相同的函数;更节约资源
劣势:需要大量数据,不容易训练
感知器(也叫神经元)
1.基本组成:
-
输入与权值 一个感知器可以接收多个输入xi,每个输入值对应一个权值wi
-
偏置项 就是下面公式(1)中的b
-
激活函数 感知器的激活函数可以有很多选择,比如我们可以选择下面这个阶跃函数来作为激活函数,通过这个激活函数可以进行简单的布尔运算,如实现and函数、or函数,但不能实现异或运算:
- 输出 感知器的输出由下面这个公式来计算
2.基本用途:
可以拟合任何线性函数,即可以解决任何线性分类和线性回归问题
3.迭代训练
(1)感知器训练算法:将wi与b初始化为0,利用感知器规则反复迭代修改wi与b,直到训练完成
(2)感知器规则:
b是偏置项,也可以看做输入x后值永远是1的权重
t是训练样本的实际值,一般称之为label
y而是感知器的输出值
是一个称为学习速率的常数,其作用是控制每一步调整权的幅度