机器学习理论与实践-05-神经网络（1）

0.

视频资料：吴恩达机器学习课程

https://www.coursera.org/learn/machine-learning/lecture/OAOhO/non-linear-hypotheses

 

1.神经网络初步

神经网络十分适用于解决复杂的非线性分类问题，因为前面所学的逻辑回归在解决非线性问题上愈发复杂。

神经网络的历史此处略过不提，他主要是要模拟大脑的功能，并从简单的一个神经元开始分析。

①对于一个简单的模型来说，第一个标❤部分

神经元接收来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将于神经元的阈值进行比较，然后通过激活函数（activation function）处理以产生神经元的输出。

理想的激活函数是阶跃函数，可以将输入值映射为输出值“0”或“1”，但由于其不连续不光滑，常用前面所讲的sigmoid函数（S型函数），把可能在较大范围内变化的输入值挤压到（0,1）输出值范围内。

②把许多个这样的神经元按一定层次结构连接起来，就得到了神经网络，第二个标❤部分就是一个多层的神经网络。

在这个复杂的例子中，其式子列为：

接下来，我们需要对这个式子进行向量化实现，可以进行高效的计算。

注意：z是θ与x或a的加权线性组合（注意下角标为0的a与x），再通过函数作用得到a

 

2.神经网络的简单示例