机器学习及python示例02

内容来自 麦子学院 深度学习基础及介绍

1 神经网络

多层向前神经网络：Multilayer Feed-Forward Neural Network

定义：有输入层、隐藏层、输出层，每层由单元组成。输入层由训练集的特征向量传入，经过单元的权重加权求和，作为下一层的输入。如果有足够多的隐藏层，和足够大的训练集，可以模拟出任何方程。
设计结构：确定层数、每层单元数；输入特征向量先要标准化到0~1之间；可以编码离散变量；可用于分类或回归；隐藏层的多少则没有规定，根据经验选取；
交叉验证：在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方加和。这个过程一直进行，直到所有的样本都被预报了一次而且仅被预报一次。把每个样本的预报误差平方加和，称为PRESS
核心算法：backpropagation：对比预测值与真实值之间的值，反向传播，最小化误差，更新每个连接的权重。初始权重和偏向随机分配。
下面的程序定义了用于神经网络算法的类：

import numpy as np  #科学计算库
def tanh(x):
    return np.tanh(x)
def tanh_deriv(x):
    return 1.0 - np.tanh(x)*np.tanh(x)
def logistic(x):
    return 1/(1 + np.exp(-x))
def logistic_derivative(x):
    return logistic(x)*(1-logistic(x))
class NeuralNetwork:
    def __init__(self, layers, activation='tanh'):
        """
        :param layers: A list containing the number of units in each layer.
        Should be at least two values
        :param activation: The activation function to be used. Can be
        "logistic" or "tanh"
        """
        if activation == 'logistic':
            self.activation = logistic
            self.activation_deriv = logistic_derivative
        elif activation == 'tanh':
            self.activation = tanh
            self.activation_deriv = tanh_deriv
        self.weights = []       #存放权重，初始化时随机产生
        for i in range(1, len(layers) - 1):     #除输出层外均需要初始化
            self.weights.append((2*np.random.random((layers[i - 1] + 1, layers[i] + 1))-1)*0.25)
            self.weights.append((2*np.random.random((layers[i] + 1, layers[i + 1]))-1)*0.25)
    #############################################################################
    def fit(self, X, y, learning_rate=0.2, epochs=10000):# x为训练集，y为标记，学习率，循环次数
        X = np.atleast_2d(X)    #二维
        temp = np.ones([X.shape[0], X.shape[1]+1])  #设定形状
        temp[:, 0:-1] = X  # adding the bias unit to the input layer# 所有行，除去最后一列
        X = temp           #完成bias的添加
        y = np.array(y)    #数据类型转换

        for k in range(epochs):                 #epochs次循环
            i = np.random.randint(X.shape[0])   #每次随机抽取一行
            a = [X[i]]

            for l in range(len(self.weights)):  #going forward network, for each layer
                a.append(self.activation(np.dot(a[l], self.weights[l])))  #Computer the node value for each layer (O_i) using activation function
            error = y[i] - a[-1]  #计算误差
            deltas = [error * self.activation_deriv(a[-1])] #For output layer, Err calculation (delta is updated error)
            #Staring backprobagation 反向更新
            for l in range(len(a) - 2, 0, -1): # 从最后一层开始，每次往回退一层
                #Compute the updated error (i,e, deltas) for each node going from top layer to input layer
                deltas.append(deltas[-1].dot(self.weights[l].T)*self.activation_deriv(a[l]))#更新隐藏层的函数
            deltas.reverse()#逆向传播
            for i in range(len(self.weights)):
                layer = np.atleast_2d(a[i])
                delta = np.atleast_2d(deltas[i])
                self.weights[i] += learning_rate * layer.T.dot(delta) #更新权重的公式
#########################################################################################                
    def predict(self, x):
        x = np.array(x)
        temp = np.ones(x.shape[0]+1)
        temp[0:-1] = x
        a = temp
        for l in range(0, len(self.weights)):
            a = self.activation(np.dot(a, self.weights[l]))
        return a

简单测试：

nn = NeuralNetwork( [2,2,1],'tanh' )
X = np.array( [[0,0],[0,1],[1,0],[1,1]] ) 
y = np.array( [0,1,1,0] )
nn.fit(X,y)
for i in [ [0,0],[0,1],[1,