关闭

Hebb Learning 监督学习的例子

标签: 人工智能habb learning
288人阅读 评论(0) 收藏 举报
分类:
赫布学习(Hebb  Learning)基于赫布规则(Hebb Rule):
When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A's efficiency, as one of cells firing B, is increase.




赫布规则大致说的是如果神经细胞刺激不断加强,两者联系加强。


首先看看一个简单的神经网络的结构(以识别为例):






左边P(R×1的向量) 是输入,表示待识别物体的R 个特征。W是权重矩阵,通过计算特征和权重矩阵的乘法,用于形成S 个结果,S是判别函数。最终形成a (S×1向量)的结果。下面以位矩阵的数字识别为例:


问题:有6×5大小的像素矩阵用于表示数字0,1,2,如下图所示


每个数字矩阵用一个一维的特征向量表示,比如0 对应的特征向量为p1:


p1 = [-1 1 1 1 -1 1,-1 -1 -1 1 1 -1 -1 -1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1]^T


其中-1代表这个像素不上色,1反之,t1-t3分表代表结果是0,1,2。那我们的问题是如果识别带有误差,或者只有部分像素的例子。如下面图中应该识别为多少呢?






 


 


 


 


分析:使用如下的神经网络,






权重矩阵W通过下面等式计算:


W = p1·p1^T + p2·p2^T + p3·p3^T


在我们这个例子里,权重函数如下






S判别函数我们使用hardlims,当输入大于0则结果为1,当小于0 则结果为-1. 针对一个特定识别过程(如下图):






下面是实现这个过程的Python 代码,使用到numpy 库。


#_*_coding:utf-8_*_
import os
import sys
import numpy as np
mat0 = np.matrix([-1,1,1,1,-1,\
1,-1,-1,-1,1,\
1,-1,-1,-1,1,\
1,-1,-1,-1,1,\
1,-1,-1,-1,1,\
-1,1,1,1,-1])
mat1 = np.matrix([-1,1,1,-1,-1,\
-1,-1,1,-1,-1,\
-1,-1,1,-1,-1,\
-1,-1,1,-1,-1,\
-1,-1,1,-1,-1,\
-1,-1,1,-1,-1])
mat2 = np.matrix([1,1,1,-1,-1,\
-1,-1,-1,1,-1,\
-1,-1,-1,1,-1,\
-1,1,1,-1,-1,\
-1,1,-1,-1,-1,\
-1,1,1,1,1])
mat0t = mat0.getT()
mat0p = mat0t.dot(mat0)
mat1t = mat1.getT()
mat1p = mat1t.dot(mat1)
mat2t = mat2.getT()
mat2p = mat2t.dot(mat2)
print "===============matrix 0===================="
print(mat0p)
print "===============matrix 1===================="
print(mat1p)
print "===============matrix 2===================="
print(mat2p)
matw = mat0p+mat1p+mat2p
print "===============matrix sum===================="
print matw
testa0 = np.matrix([-1,1,1,1,-1,\
1,-1,-1,-1,1,\
1,-1,-1,-1,1,\
-1,-1,-1,-1,-1,\
-1,-1,-1,-1,-1,\
-1,-1,-1,-1,-1])
mata0 = matw.dot(testa0.getT())
print "=========== raw mata0 =============="
print mata0
for ii in xrange(mata0.size):
if mata0[ii] > 0:
mata0[ii] = 1
else:
mata0[ii] = -1
print "============= After testa0 ================="
print mata0




备注:这是Neural Network Design 的一个例子,作者用python 代码实现了下。
0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

一个监督的赫布学习(Hebb Learning)的例子

赫布学习(Hebb  Learning)基于赫布规则(Hebb Rule): When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in fir...
  • navylq
  • navylq
  • 2016-09-03 22:47
  • 1734

Deep Learning(深度学习)学习笔记整理系列之(七)

Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学...
  • zouxy09
  • zouxy09
  • 2013-04-10 10:48
  • 517696

Single Neural Net PID Decouple Controller based on Hebb Learning

  • 2011-01-10 21:41
  • 3KB
  • 下载

Hebb学习规则

通过实例介绍hebb学习规则
  • wtt561111
  • wtt561111
  • 2016-01-26 16:29
  • 1317

一个监督的赫布学习(Hebb Learning)的例子

赫布学习(Hebb  Learning)基于赫布规则(Hebb Rule): When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in fir...
  • navylq
  • navylq
  • 2016-09-03 22:47
  • 1734

Hebb神经网络

Hebb的神经网络理论 2007-6-3 18:19:00  人工生命  jake 我相信很多人都非常喜欢用神经网络作为模拟人类智能的最终武器。但是由于大家接触的多是国内翻译的书籍,所以可能最原始的有关神经网络的思想没有传播进来,下面这段文字是遗传算...
  • u013638884
  • u013638884
  • 2014-07-09 11:46
  • 854

Deep Learning(深度学习)学习笔记整理系列之(七)Convolutional Neural Networks卷积神经网络

转处:http://blog.csdn.net/zouxy09/article/details/8781543/ Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version...
  • xiewenbo
  • xiewenbo
  • 2016-06-14 20:34
  • 1383

MachineLearning---Hebbian Learning

MachineLearning---Hebbian Learning 引言 前面介绍了许多“监督式”学习方式,比如PNN、Backpropagation、LMS等。这些算法有一个共同点:提供的数据中,有目标值。相当于一本带有答案的练习本。接下来将介绍“非监督式”学习方式。 ...
  • jiachangbin1989
  • jiachangbin1989
  • 2015-06-30 09:35
  • 619

Hebb和Delta学习规则

无监督学习规则 唐纳德·赫布(1904-1985)是加拿大著名生理心理学家。Hebb学习规则与“条件反射”机理一致,并且已经得到了神经细胞学说的证实。  巴甫洛夫的条件反射实验:每次给狗喂食前都先响铃,时间一长,狗就会将铃声和食物联系起来。以后如果响铃但是不给食物,狗也会流口水。  受...
  • u012562273
  • u012562273
  • 2017-02-21 20:13
  • 3355

Hebb学习规则 以及 Hebb网络

Hebb学习规则代表一种纯向前的非监督学习。这里用一个简单的例子来说明具有简单网络的二进制和连续激活函数的Hebb学习情况。先上图: 假定具有以下初始权向量的网络如上图所示。 初始权向量  W1 = [1, -1, 0,...
  • bellajo
  • bellajo
  • 2013-11-27 09:15
  • 2346
    个人资料
    • 访问:762560次
    • 积分:11053
    • 等级:
    • 排名:第1690名
    • 原创:297篇
    • 转载:152篇
    • 译文:4篇
    • 评论:648条
    博客专栏
    最新评论