深度学习入门课笔记(一)
神经网络基础
人工神经元
**
人工神经网络
*:大量神经元以某种连接方式构成的机器学习模型。根据连接方式的不同分为很多种。
第一个神经网络:感知机
**but!!!**感知机致命缺点;不能解决异或问题(感知机实际上在二维平面是一条直线,无法解决非线性问题)如下图所示:
**
多层感知机
**:单层神经网络基础上引入一个或多个隐藏层,使神经网络有多个网络层,因而叫做多层感知机
层与层之间权重矩阵大小的算法:输入个数×输出个数
举个例子:
那么在这个例子中计算出输出其实就是一个同行矩阵的乘法。
但是要注意隐藏层中我们不能再用仿射函数,而应该在一次仿射变换后对每个隐藏单元应用非线性的激活函数。
原因如下:
若无激活函数,网络退化为单层网络: