机器学习笔记week4(Andrew NG)

机器学习笔记week4(Andrew NG)

martin

---

概念介绍

神经网络单元

如图所示，每一个神经元(输入层除外)都是一个逻辑回归模型，也即为感知机。

---

神经网络结构

神经网络一般有三个模块或者层次。分别是输入层、隐含层、输出层。这里需指出的是隐含层往往不只有一层。除输出层外，其他每层一般都含有一个偏置项“bias”，它一般都被置为1。

---

前向算法

可以看到如图中所描绘的那样，每一层的单个节点的输入都是由前一层所有的节点的值与权值$\theta$的乘积之和，再经过一个sigmoid函数所得。这里值得注意的是，NG给出了一个计算$\theta$维度的公式：

$$维度 = S_{j+1}*S_j+1$$
j为 $\theta$的层数或者上标，比如我这里求 $\theta^{(2)}$的维度，那么 $S_{j+1}=S_3=1$为第三层神经元的个数即为1， $S_j+1=S_2+1=4$为第二层的神经元个数+1即为4，所以 $\theta^{(2)}$的维度为1*4。

---

选择题1：

---

选择题2：

---

原理与应用

神经网络解决的问题

如图，可以看到如果使用单个逻辑回归，对于下面图片中的圆圈和叉叉是不能够用一条直线来分开的，也即该问题是线性不可分问题，那么这种问题我们叫做XOR问题，即异或问题。所以对于单个的神经元(感知器或者逻辑回归)是不能解决该问题的，所以由多个神经元(或者说感知器)组成的神经网络就应运而生。

接下来我们来看看，单个的神经元到底是怎么发生作用的？

• AND问题

  

• OR问题

  

• NOT问题

  

• XNOR问题

  

  可以看到，XNOR解决了之前的线性不可分的问题，将负样本区分了出来，所以同时也把正样本分了出来(XOR是XNOR问题的NOT)。而我们看到，要想解决XNOR或者XOR仅有一层网络是不可行的，必须要组合多层感知器才可以，于是就变成了多层感知器也就是我们的神经网络。

---

选择题3：

---

神经网络多分类

选择题4：

---

小节测试题1：

---

小节测试题2：

---

小节测试题3：

---

小节测试题4：

---

小节测试题5：

[16ttp://static.zybuluo.com/IceMartin123/7i68exsn5cj0xuy9kmuxicy2/5-1.png