主要内容:
- 神经网络被引入的原因
- 神经网络模型介绍
- 神经网络的计算向量化
- 神经网络与逻辑回归算法的关系
一、神经网络被引入的原因
- 无论是线性回归还是逻辑回归都有这样一个缺点,即:当特征太多时,计算的负荷会非常大.
- 大多数的机器学习所涉及到的特征非常多,对于非线性分类问题,往往需要构造多项式来表示数据之间的关系,普通的逻辑回归模型,不能有效地处理这么多的特征,这时候我们需要神经网络
二、神经网络模型介绍
2.1 单个神经元的模型
- 在神经网络中,图中的黄色小圈圈被称为带有 sigmoid 或者 logistic 激活函数的 人工神经元
- x_0 节点,被称作偏置单元或偏置神经元 ,x_0 总是 =1,可以划出也可以不画,主要是取决于再具体例子中怎样更方便
- 激活函数在神经网络中的另一术语就是指代非线性函数g(z)
- θ参数在神经网络里称之为模型的权重
2.2 神经网络模型
-
神经网络就是一组神经元,连接在一起的集合
神经网络三层:
- 第一层输入层——输入特征x_1,x_2…
- 第二层隐藏层——在训练集看不到,其值不是x也不是y ,可能不止一个隐藏层,任何非输入层和非输出层都称之为隐藏层
- 第三次输出层——输出假设的最终计算结果 h_θ(x)
-
神经网络模型的计算方法:
-
激活项: 指由一个具体神经元计算并输出的值
-
θ^(j): 权重矩阵,控制从第j层到 j+1层的映射
例如图中:θ^(1) 控制着从三个输入单元到三个隐藏单元的映射的参数矩阵,是一个 3 x 4 的矩阵
-
若一个神经网络在第 j 层有s_j 个单元,在 j+1 层有 s_j +1 个单元,那么θ^(j) 即控制着第 j 层 到 j+1层映射,θ^(j) 为一个 s_(j+1) X (s_j + 1) 的矩阵
-
-
神经网络的假设函数数学上的定义:
神经网络定义了函数 h_θ(x)从输入 x 到输出 y 的映射,这些假设函数被参数化,参数被记为θ,这样只要改变 θ,就能得到不同的假设函数
三、神经网络的计算向量化
- 为了方便表示和计算,在输入层的输入x ,可以把其看成第一层的激活值,也即 a^(1) = x
- 把从某个特定的神经元的输入 x_1,x_2,x_3的加权线性组合另其为 z
- a_0^(2) ——称为偏置单元 ,等于1
四、神经网络与逻辑回归算法的关系
- 在神经网络中,其实后面部分就是一个逻辑回归算法
- 但神经网络它不是直接使用原本的 x_1,x_2, … x_n 作为输入特征,而是用学习到函数输入值的 a1,a2,…an 作为输入特征
但神经网络它不是直接使用原本的 x_1,x_2, … x_n 作为输入特征,而是用学习到函数输入值的 a1,a2,…an 作为输入特征 - 神经网络没有用输入特征x_1,x_2, … x_n来训练逻辑回归,而是使用学习到的 a1,a2,…an来自己训练逻辑模型,从而得到复杂多样的非线性假设函数
如果觉得文章不错的话,可以给我点赞收藏鼓励一下我啦
关注我,我们一起学习,一起进步!!!