简要概述神经网络感知机

深度学习 VS 机器学习

机器学习模型针对抽象

深度学习端对端的

机器学习：利用计算机、概率论、统计学等知识，让计算机学会知识。机器学习的过程，就是训练数据去优化目标函数。

深度学习： 是一种特殊的机器学习，具有强大的能力和灵活性，它通过学习将世界表示为嵌套的概念层次结构，每个概念都与更简单的概念相关，而抽象的概念则用于计算更抽象的表示

传统的机器学习需要定义手工特征，有目的的提取目标信息，依赖任务的同异性以及设计特征的专家经验。

深度学习可以从大数据里先学到简单的特征，逐渐学习更为复杂的深层特征，不依赖人工的特征工程。

多层的特征神经元模型称为感知机(perceptron)， 由Frank Rosenblatt 于1958年发明。
神经网络发展是依据生物神经元

转换为人工神经元模型

由上面输入设为a, 权值设为w, 求和设为sum，非线性函数为sign，输出为Z。

$$公式:z=f(w_1\ast a_1+w_2\ast a_2+w_3\ast a_3)$$

简化：

层的概念

g 为激活函数
上面的实线表示：
$$output1=g(a_1\ast w_1+a_2\ast w_2+a_3\ast w_3)$$
虚线表示：
$$output2=g(a_4\ast w_4+a_5\ast w_5+a_6\ast w_6)$$

感知机学习的对偶形式（主要解决异或问题）

对于输入空间，感知机通过以下函数将其映射到（+1， -1）的输出空间
$$f(x)=sign(wx+b)$$

$$对于所有的轴分类点i\in m_i都有-y_i(w\ast x_i+b)>0$$

因此我们可以定义如下的损失函数作为优化准则
$$L(w,b)=-\sum _{i\in m_i}{y}_i(w\ast x_i+b)$$
然后我们可以得到梯度w、b
$$\begin{gathered} {▽}_{w}L(w,b)=-\sum _{x_i\in m}{y}_i{x}_i \\ {▽}_{b}L(w,b)=-\sum _{x_i\in m}{y}_i \end{gathered}$$
来进行更新：
$$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
感知机梯度的更新是由错判样本的出现次数 N 决定的
代入N 可得到
$$\begin{gathered} w=\sum _{i=1}^N{n}_i\eta y_i{x}_i \\ b=\sum _{i=1}^N{n}_i\eta y_i \\ f(z)=sign(w\ast x+b)=sign(\sum _{i=1}^N{n}_i\eta y_i{x}_i\ast x+\sum _{i=1}^N{n}_i\eta y_i) \end{gathered}$$
训练过程：

1. $$初始化时\forall n_i=0$$

2. $$在训练集中选取数据（x_i,y_i)$$

3. $$如果y_i(\sum _{i=1}^N{n}_i\eta y_i{x}_i\ast x+\sum _{i=1}^N{n}_i\eta y_i)\le 0,更新：n_i\leftarrow n_i+1$$

4. 转至 2 直至没有误分类数据。

代码解释异或问题

import numpy as np
import matplotlib.pyplot as plt
x = np.array([[3,3], [4, 3], [1, 1]])
y = np.array([1, 1, -1])
plt.figure()

# 画红点和蓝点
for i in range(len(x)):
    if y[i] == 1:
        plt.plot(x[i][0], x[i][1], 'ro')
    else:
        plt.plot(x[i][0], x[i][1], 'bo')
        
w = np.array([1, 0])
b = 0
delta = 1

# n 为 100
for i in range(100):
    choice = -1
    for j in range(len(x)):
        if y[j] != np.sign(np.dot(w, x[0]) + b):
            choice = j
            break
    if choice == -1:
        break
    # 更新 w, b
    # 
    w = w + delta * y[choice] * x[choice]
    b = b + delta * y[choice]
        
line_x = [0, 10]
line_y = [0, 0]

for i in range(len(line_x)):
    line_y[i] = (-w[0] * line_x[i]-b)/ w[1]
plt.plot(line_x, line_y)
plt.show()

最后的画图 line_y[i] 依据斜率
$$\begin{gathered} w_0{x}_0+w_1{x}_1+b=0 \\ \frac{-w_0{x}_0-b}{w_1} \end{gathered}$$

感知机的对偶的用途: 当样本数量少、样本维度高时，能够节约计算资源

简单的感知机

其中 x1, x2, x3 是感知机的输入，其输出为：

$$output=\{\begin{array}{r}0,if\sum _i{w}_i{x}_i\le threshold\\ 1,if\sum _i{w}_i{x}_i>threshold\end{array}$$

假如把感知机想象成一个加权投票机制，比如 3 位评委给一个歌手打分，打分分别为 4 分、1 分、-3 分，这 3 位评分的权重分别是 1、3、2，则该歌手最终得分为 4 * 1 + 1 * 3 + (-3) * 2 = 1 。按照比赛规则，选取的 threshold 为 3，说明只有歌手的综合评分大于 3 时，才可顺利晋级。对照感知机，该选手被淘汰，因为
$$\sum _i{w}_i{x}_i<threshold=3,output=0$$
用 -b 代替 threshold，输出变为：
$$output=\{\begin{array}{r}0,ifw\cdot x+b\le threshold\\ 1,ifw\cdot x+b>threshold\end{array}$$
设置合适的 x 和 b ，一个简单的感知机单元的与非门表示如下：

当输入为 0，1 时，感知机输出为 0 * (-2) + 1 * (-2) + 3 = 1。

复杂一些的感知机由简单的感知机单元组合而成.

主要参考：
https://www.zhihu.com/question/26526858
https://github.com/scutan90/DeepLearning-500-questions