Hebb Learning 监督学习的例子

标签: 人工智能 habb learning
481人阅读 评论(0) 收藏 举报
分类:
赫布学习(Hebb  Learning)基于赫布规则(Hebb Rule):
When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A's efficiency, as one of cells firing B, is increase.




赫布规则大致说的是如果神经细胞刺激不断加强,两者联系加强。


首先看看一个简单的神经网络的结构(以识别为例):






左边P(R×1的向量) 是输入,表示待识别物体的R 个特征。W是权重矩阵,通过计算特征和权重矩阵的乘法,用于形成S 个结果,S是判别函数。最终形成a (S×1向量)的结果。下面以位矩阵的数字识别为例:


问题:有6×5大小的像素矩阵用于表示数字0,1,2,如下图所示


每个数字矩阵用一个一维的特征向量表示,比如0 对应的特征向量为p1:


p1 = [-1 1 1 1 -1 1,-1 -1 -1 1 1 -1 -1 -1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1]^T


其中-1代表这个像素不上色,1反之,t1-t3分表代表结果是0,1,2。那我们的问题是如果识别带有误差,或者只有部分像素的例子。如下面图中应该识别为多少呢?






 


 


 


 


分析:使用如下的神经网络,






权重矩阵W通过下面等式计算:


W = p1·p1^T + p2·p2^T + p3·p3^T


在我们这个例子里,权重函数如下






S判别函数我们使用hardlims,当输入大于0则结果为1,当小于0 则结果为-1. 针对一个特定识别过程(如下图):






下面是实现这个过程的Python 代码,使用到numpy 库。


#_*_coding:utf-8_*_
import os
import sys
import numpy as np
mat0 = np.matrix([-1,1,1,1,-1,\
1,-1,-1,-1,1,\
1,-1,-1,-1,1,\
1,-1,-1,-1,1,\
1,-1,-1,-1,1,\
-1,1,1,1,-1])
mat1 = np.matrix([-1,1,1,-1,-1,\
-1,-1,1,-1,-1,\
-1,-1,1,-1,-1,\
-1,-1,1,-1,-1,\
-1,-1,1,-1,-1,\
-1,-1,1,-1,-1])
mat2 = np.matrix([1,1,1,-1,-1,\
-1,-1,-1,1,-1,\
-1,-1,-1,1,-1,\
-1,1,1,-1,-1,\
-1,1,-1,-1,-1,\
-1,1,1,1,1])
mat0t = mat0.getT()
mat0p = mat0t.dot(mat0)
mat1t = mat1.getT()
mat1p = mat1t.dot(mat1)
mat2t = mat2.getT()
mat2p = mat2t.dot(mat2)
print "===============matrix 0===================="
print(mat0p)
print "===============matrix 1===================="
print(mat1p)
print "===============matrix 2===================="
print(mat2p)
matw = mat0p+mat1p+mat2p
print "===============matrix sum===================="
print matw
testa0 = np.matrix([-1,1,1,1,-1,\
1,-1,-1,-1,1,\
1,-1,-1,-1,1,\
-1,-1,-1,-1,-1,\
-1,-1,-1,-1,-1,\
-1,-1,-1,-1,-1])
mata0 = matw.dot(testa0.getT())
print "=========== raw mata0 =============="
print mata0
for ii in xrange(mata0.size):
if mata0[ii] > 0:
mata0[ii] = 1
else:
mata0[ii] = -1
print "============= After testa0 ================="
print mata0




备注:这是Neural Network Design 的一个例子,作者用python 代码实现了下。
查看评论

监督学习四 基于实例的学习

1、基于实例的学习(instance-based learning)       这应该是机器学习算法中最简单的算法,它不像其他算法需要在样本的基础上建立一般性的推理公式,而是直接通过存储的数据集进行...
  • zaqwsxedcd
  • zaqwsxedcd
  • 2017-08-25 10:51:27
  • 380

监督学习 - 一个典型的工作流程

现今,当在“数据科学”领域开始引入各种概念的时候,著名的“鸢尾花(Iris)”花数据集可能是最常用的一个例子。1936年,R.A.Fisher在他的判别分析中创建和使用了Iris数据集。Iris现在可...
  • oucpowerman
  • oucpowerman
  • 2015-12-23 22:39:55
  • 2244

监督学习和非监督学习的区别

如果我们想要预测的是离散值,例如“好瓜”“坏瓜”,此类学习任务称为“分类”;如果想要预测的是连续值,例如西瓜成熟度0.95、0.37,此类学习任务称为“回归”。     学得模型后,使用其进行预测的...
  • chenKFKevin
  • chenKFKevin
  • 2017-04-23 21:18:13
  • 3225

监督学习和无监督学习的详细介绍

l         学习映射函数及在行为识别/图像分类中应用的文献(模型与非模型之间存在关联,算法相互采用,没有明确的区分,含仿生学文献) % 研究重点放到ICA模型及深度学习兼顾稀疏编码 ...
  • Allyli0022
  • Allyli0022
  • 2015-10-30 16:46:51
  • 2986

一个监督的赫布学习(Hebb Learning)的例子

赫布学习(Hebb  Learning)基于赫布规则(Hebb Rule): When an axon of cell A is near enough to excite a cell B and...
  • navylq
  • navylq
  • 2016-09-03 22:47:12
  • 2147

Hebb和Delta学习规则

无监督学习规则 唐纳德·赫布(1904-1985)是加拿大著名生理心理学家。Hebb学习规则与“条件反射”机理一致,并且已经得到了神经细胞学说的证实。  巴甫洛夫的条件反射实验:每次给狗喂食前都先响...
  • u012562273
  • u012562273
  • 2017-02-21 20:13:27
  • 4609

Hebb学习规则 以及 Hebb网络

Hebb学习规则代表一种纯向前的非监督学习。这里用一个简单的例子来说明具有简单网络的二进制和连续激活函数的Hebb学习情况。先上图: 假定具有以下初始权向量的网络如上图所示。 初...
  • bellajo
  • bellajo
  • 2013-11-27 09:15:42
  • 2689

Hebb实例

D.D.Hebb学习规则举例——神经网络的训练算法   转载▼ Hebb学习规则代表一种纯向前的非监督学习。这里用一个简单的例子来说明具有简单网络的二进制和连续激活函数的He...
  • u013638884
  • u013638884
  • 2014-07-09 14:34:41
  • 699

神经网络理论 超全超详细 通熟易懂

神经网络   (2011-04-05 11:57:03) 转载▼ 标签:  杂谈 http://blog.sina.com.cn/s/blog_48ee23c80100rmkx.h...
  • zkl99999
  • zkl99999
  • 2016-04-01 15:13:11
  • 20143

神经网络的 Delta 学习规则(learning rule)

1. δ\delta 学习规则1986 年,由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 Δ\Delta 学习规则,该规则亦可称为连续感知器学习规则(与离散感...
  • lanchunhui
  • lanchunhui
  • 2017-03-02 09:30:38
  • 4018
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 82万+
    积分: 1万+
    排名: 1687
    博客专栏
    最新评论