单层神经网络

1. 线性回归

对于含有n个特征的样本i，其回归结果对应如下方程：

$z_i=b+w_1{x}_{i1}+w_2{x}_{i2}+...+w_n{x}_{in}$

其中，$w$和$b$是模型的参数；b是截距(intercept)，也叫偏差(bias)；$w_1$~$w_n$是回归系数，也叫权重(weights)。

假设当前数据是2个特征，则上面的方程可写成如下形式：

$z=b+w_1{x}_1+w_2{x}_2$

对于上述方程，输入特征取值$x_1$,$x_2$就可以得到预测结果$z$的值。而在神经网络中，也是从神经元左侧输入特征，接着神经元对数据处理后，右侧输出结果。所以，可以用神经网络来表达线性回归过程：

特征对应的权重即$w$越大，表明传到下一层神经元信息就越大。

上面这种网络结构一般被称为“单层神经网络”(不考虑输入层)。

2. 模拟实现

用下面这组数据

$x_1$	$x_2$	$z$
1	0	-0.05
1	1	0.05
0	1	-0.05
0	0	-0.15

import numpy as np
X = np.array([[1, 0], [1, 1], [0, 1], [0, 0]])
z = np.array([-0.05, 0.05, -0.05, -0.15])


def linear_regression(x1, x2):
    w1, w2, b = 0.1, 0.1, -0.15  # 给定回归系数和截距
    z = w1*x1 + w2*x2 + b
    return z


z_re = linear_regression(X[:, 0], X[:, 1])
print(z_re)

输出结果：

[-0.05  0.05 -0.05 -0.15]