机器学习第5章第1节 (上): 使用神经网络学习逻辑或的运算
思路
在代码之前,需要提及的是权值修正
首先产生一个初始权值,它可以是一个实数,也可以是向量等等,由初始权值计算的输出结果肯定是会有偏差的,我们要让误差减小,减小的过程就是权值修正的过程.
本小节使用的是单样本修正算法:神经网络每次读入一个样本,进行修正,样本读取完毕,修正过程结束.
所以步骤是:
1) 设置参数
2) 感知器激活
3) 计算感知器的输出
4) 更新感知器的权值向量
代码
#! /usr/bin/env python
# -*- coding: utf-8 -*-
"""
使用神经网络学习逻辑或的运算
"""
import numpy as np
#学习速率(调整更新的步伐)
a = 0.5
#偏置
b = 0
#输入向量
x = np.array([
[0,1,1],
[0,1,0],
[0,0,0],
[0,0,1]
])
#期望输出
d = np.array([1,1,0,1])
#权重
weight = np.array([b,0,0])
"""
激活函数:
1 : 激活
0 : 不激活
"""
def sgn(v):
if v > 0:
return 1
else:
return 0
#将传入的值进行矩阵乘法,然后传递给激活函数
def comy(current_weight,my_x):
#np.dot是指矩阵乘法
#weight.T是矩阵转置
return sgn(np.dot(current_weight.T,my_x))
#更新权值
def update_weight(old_weight,my_d,my_x,a):
return old_weight + a*(my_d - comy(old_weight,my_x))*my_x
#开始训练
print("开始训练,当前权值:",weight)
i = 0
for xn in x:
weight = update_weight(weight,d[i],xn,a)
i+=1
print("第",i,"次训练,训练后的权值为:",weight)
#训练完毕,开始验证
for xn in x:
print("当前xn=",xn,", ",xn[1],"与",xn[2],"进行逻辑或计算,结果为: ",comy(weight,xn))
运行结果
开始训练,当前权值: [0 0 0]
第 1 次训练,训练后的权值为: [ 0. 0.5 0.5]
第 2 次训练,训练后的权值为: [ 0. 0.5 0.5]
第 3 次训练,训练后的权值为: [ 0. 0.5 0.5]
第 4 次训练,训练后的权值为: [ 0. 0.5 0.5]
当前xn= [0 1 1] , 1 与 1 进行逻辑或计算,结果为: 1
当前xn= [0 1 0] , 1 与 0 进行逻辑或计算,结果为: 1
当前xn= [0 0 0] , 0 与 0 进行逻辑或计算,结果为: 0
当前xn= [0 0 1] , 0 与 1 进行逻辑或计算,结果为: 1
笔记
人工神经网络(ANN)是一种模仿生物神经网络结构和功能的数学模型,它使用大量的人工神经元连接来进行计算,该网络由大量的”神经元”相互连接构成,每个神经元代表一种特定的输出函数,又称”激励函数“.每两个”神经元”之间的连接代表一个通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆.网络的输出则根据网络的连接规则决定,输出因权重值和激励函数的不同而不同.人工神经网络可理解为对自然界某种算法或者函数的逼近.