机器学习第5章第1节(上) : 使用神经网络学习逻辑或的运算

机器学习第5章第1节 (上): 使用神经网络学习逻辑或的运算

思路

在代码之前,需要提及的是权值修正

首先产生一个初始权值,它可以是一个实数,也可以是向量等等,由初始权值计算的输出结果肯定是会有偏差的,我们要让误差减小,减小的过程就是权值修正的过程.

本小节使用的是单样本修正算法:神经网络每次读入一个样本,进行修正,样本读取完毕,修正过程结束.

所以步骤是:
1) 设置参数
2) 感知器激活
3) 计算感知器的输出
4) 更新感知器的权值向量

代码

#! /usr/bin/env python
# -*- coding: utf-8 -*-
"""
使用神经网络学习逻辑或的运算
"""
import numpy as np

#学习速率(调整更新的步伐)
a = 0.5
#偏置
b = 0
#输入向量
x = np.array([
                [0,1,1],
                [0,1,0],
                [0,0,0],
                [0,0,1]
        ])

#期望输出
d = np.array([1,1,0,1])
#权重
weight = np.array([b,0,0])

"""
激活函数:
    1 : 激活
    0 : 不激活
"""
def sgn(v):
    if v > 0:
        return 1
    else:
        return 0

#将传入的值进行矩阵乘法,然后传递给激活函数
def comy(current_weight,my_x):
    #np.dot是指矩阵乘法
    #weight.T是矩阵转置
    return sgn(np.dot(current_weight.T,my_x))

#更新权值
def update_weight(old_weight,my_d,my_x,a):
    return old_weight + a*(my_d - comy(old_weight,my_x))*my_x

#开始训练
print("开始训练,当前权值:",weight)
i = 0
for xn in x:
    weight = update_weight(weight,d[i],xn,a)
    i+=1
    print("第",i,"次训练,训练后的权值为:",weight)

#训练完毕,开始验证
for xn in x:
    print("当前xn=",xn,", ",xn[1],"与",xn[2],"进行逻辑或计算,结果为: ",comy(weight,xn))

运行结果

开始训练,当前权值: [0 0 0]
第 1 次训练,训练后的权值为: [ 0.   0.5  0.5]
第 2 次训练,训练后的权值为: [ 0.   0.5  0.5]
第 3 次训练,训练后的权值为: [ 0.   0.5  0.5]
第 4 次训练,训练后的权值为: [ 0.   0.5  0.5]
当前xn= [0 1 1] ,  1 与 1 进行逻辑或计算,结果为:  1
当前xn= [0 1 0] ,  1 与 0 进行逻辑或计算,结果为:  1
当前xn= [0 0 0] ,  0 与 0 进行逻辑或计算,结果为:  0
当前xn= [0 0 1] ,  0 与 1 进行逻辑或计算,结果为:  1

笔记

人工神经网络(ANN)是一种模仿生物神经网络结构和功能的数学模型,它使用大量的人工神经元连接来进行计算,该网络由大量的”神经元”相互连接构成,每个神经元代表一种特定的输出函数,又称”激励函数“.每两个”神经元”之间的连接代表一个通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆.网络的输出则根据网络的连接规则决定,输出因权重值和激励函数的不同而不同.人工神经网络可理解为对自然界某种算法或者函数的逼近.