- 博客(30)
- 收藏
- 关注
RSS订阅原创 matlab——利用intlinprog和linprog函数求线性规划问题最优解
函数简介intlinprog和linprog都是matlab自带的两种函数，功能大体相同。都是用来求解线性规划问题的最优解，只是intlinprog用于求整数解而已。线性规划问题下图是一个线性规划问题的约束条件和目标函数的一个模版。 其中min z为目标函数，s.t.为约束条件。那么，如何让来解决这样的问题，如何求出目标函数在约束条件的最值呢？1，简单模型 可以应用平面向量来解决（高中...
2020-04-30 19:53:08
11656
5
原创 神经网络设计（10）——性能曲面和最优点
本次介绍的是一类称为性能学习的神经网络训练的基础知识。神经网咯有几种不同的类型的学习规则，如联想学习和竞争学习。性能学习是另一类重要的学习规则，其目的在于调整网络参数以优化网络性能。性能学习 有几种不同的学习规则可以归类于性能学习，我学习其中两种，他们两个最大的区别在于训练网络时为优化网络而调整网络参数的方法不同。性能训练这种优化分两个步骤进行。第一步是定义“性能”的含义。换言之，需要找到一个...
2019-12-15 17:40:23
404
原创 神经网络设计学习笔记（10）——有监督的Hebb学习（4）
有监督的Hebb学习小结线性联想器由于首次讨论Hebb学习而采用的较为简单的结构 如图：Hebb规则如图仿逆规则减少Hebb规则误差的一种方法。如图所示参考文献[1] Hagan M , Hagan, 戴葵. 神经网络设计[M]. 机械工业出版社, 2002....
2019-12-09 00:25:08
331
原创 神经网络设计学习笔记（10）——有监督的Hebb学习（4）
自联想存储器现在将Hebb规则应用用于一个大大简化了实际模式识别问题。在这里 期望输出量等于网络的输入向量。这里将用自联想存储器存储一组模式，并且当其输入模式有所“破损”时，他仍然能够将其复原。这里要存储的模式如下图，这里要把这些数字转换为向量表示形式，分别作为网络的原型模式。如果白色格子用-1表示，黑色用1表示，那么扫描栅格中的一列就可以生成这些输入向量。向量P1,P2.P3分别与数字0...
2019-12-01 16:43:07
1005
原创 神经网络设计学习笔记（10）——有监督的Hebb学习（3）
仿逆规则之前我们提到的样本输入模式都是正交的，否则Hebb规则会产生误差。为了解决这种误差，大能们就研究出一个东西叫仿逆规则。线性联想器的任务是对于输入Pq产生输出tq，即Wpq=tq，q=1，2 …，Q（1）如果无法找到使这些等式绝对成立的全职矩阵，那么也希望找到使它们近似成立的权值矩阵。一种方法是：选取一个全职矩阵，使下列性能参数最小化：如果样本输入向量Pq是标准正交的，那么用He...
2019-11-25 00:48:44
771
原创 神经网络设计学习笔记（10）——有监督的Hebb学习（2）
Hebb规则为了将Hebb假设用于训练线性联想器的权值矩阵，那么又如何给出Hebb假设的数学解释呢?首先，再次重述下该假设: 若一条突触两侧的两个神 径元同时被激活，那么突触的强度将会增大。在上式中，输入和输出之间的连接（突触）是权值。所以Hebb假设意味着：如果一个正的输入产生一个正的输出，那么应该增加权值的值。数学解释：请注意：这里严格解释的基础上扩展了Hebb假设，权值的变化与突触每...
2019-11-17 20:42:50
530
原创 神经网络设计学习笔记（10）——有监督的Hebb学习
Hebb规则是最早的神经网络学习规则之一，由Donald Hebb在1949年作为大脑的一种神经元突出调整的可能机制而提出，从那以后Hebb规则就一直用于人工神经网络的训练。Hebb假设“当细胞A的轴突到细胞B的距离近到足够激励它,且反复地成持续地刺激B，那么在这两个细胞或一个细胞中将会发生某种增长过程或代谢反应,增加A对细胞B的刺激效果。”线性联想器Hebb学习规则能用于和多种神经网络结...
2019-11-17 20:13:23
1436
原创 神经网络设计学习笔记（9）——神经网络中的线性变换（2）
再上一次的博客中说过的，矩阵相乘是线性变换的一个实例。同样，可以证明两个有限维向量空间之间的任何线性变化都可以用一个矩阵来表示。设{v1，v2，v3，v4 。。。。vn}，{u1，u2，u3，。。。um}分别是X,Y的基。即是对任意两个向量x∈X和y∈Y，有A是一个定义域为X值域为Y的线性变换（A：X→Y）ps：注意下式中的aij不是随意选取的一顿疯狂整理，可以得出：因为所有的Ui...
2019-11-03 23:18:06
690
原创 神经网络学习笔记（9）——神经网络中的线性变换
在上次的学习笔记中说到，线性代数是神经网络所需要的的数学基础，而且上次复习了线性空间相关知识，本章将探讨在神经网络中的线性变换。 在之前的学习笔记中说到的输入向量与权值矩阵相乘是执行神经网络的重要操作，该操作就是线性变换的一个具体实例。1.线性变换首先定义变换的概念。变换 一个变换有三个部分（1）一个被称为定义域的元素集合X={xi}；（2）一个被称为值域的元素集合Y={yi}...
2019-10-27 21:30:42
1593
原创 MATLAB的下载及安装
因为个人的MATLAB安装出了些许问题，所以打算把成功安装的过程进行分享。链接: https://pan.baidu.com/s/10uIcsVCmlURR6hZxUY0pow&shfl=shareset 提取码: 45q2这个是2018a版的MATLAB1.下载完之后，同时找到这两个文件，然后一起解压了他俩。2.解压完之后，找到setup.exe这个文件，不用多说 这个就是打开...
2019-10-21 00:29:35
981
1
原创 神经网络学习笔记（8）——信号和权值向量空间（1）
本次博客为复习线行代数知识，因为线性代数是理解神经网络必修学科。1.线性向量空间在我个人看来他就是满足一定的式子的抽象概念，具体如下：****设V是一个非空集合，P是一个域。若：1.在V中定义了一种运算，称为加法，即对V中任意两个元素α与β都按某一法则对应于V内惟一确定的一个元素α+β，称为α与β的和。2.在P与V的元素间定义了一种运算，称为纯量乘法(亦称数量乘法)，即对V中任意元素α和...
2019-10-20 22:38:47
842
原创 神经网络设计学习笔记（7）——感知机学习规则（5）
上次博客总结了三条规则，这次接上回的博客继续阐述。统一的学习规则上次博客总结的三个规则可以总结为一个表达式。（上图）首先将感知机的误差定义为一个新的变量e：e=t-a现在可将式中三条规则重写：仔细观察可以发现上边的前两条规则，可以发现p的符号和误差e的符号一致。在第三条规则中，由于e=0，所以p没有出现。综上可以将上边的三条规则总结为一个表达式；此规则可以扩展到偏置值的训练过程中：...
2019-10-06 09:47:55
237
原创 神经网络设计学习笔记（7）——感知机学习规则（4）
本次博客接上次的博客，继续阐述感知机的学习规则。在学习规则彻底学习结束，将用MATLAB进行简单实践。#学习规则的构造为了完成上次博客所提到的测试问题，需要对学习规则进行构造，在训练开始时，为网络的参数赋予一些初始值。这里仅需对其两个权值进行初始化。然后将输入向量提供给网络。 但是网络没有返回正确的值。从图中可以i看出判定边界的权值向量导致了对向量P1的错误分类的判定边界。...
2019-09-29 23:13:59
249
原创 神经网络设计学习笔记（7）——感知机学习规则（3）
前两次关于感知机学习规则方面的知识做了充足的铺垫，介绍了何为学习规则，对感知机进行了进一步的介绍。本次博客将真正的学习感知机学习规则。1.感知机学习规则由于其学习规则是有监督训练的实例，所以这里学习规则将提供一组能正确反应网络行为的实例：{P1，T1},{P2,T2},…{Pq,Tq}。其中Pq是网络的输入，Tq是网络的目标输出。当每个输入作用到网络上时，网络的实际输出与目标比较。然后学习规...
2019-09-22 23:03:15
460
原创 神经网络设计学习笔记（6）——感知机学习规则（2）
上篇文章对学习规则，感知机结构做了简单介绍，本次将继续介绍感知机学习规则。1.单神经元感知机如图，是两个输入的单神经元感知机。该网络输出由下式决定：a=hardlim（n）=hardlim（Wp+b）判定边界有那些使得净输入n为0的输入向量决定。可以设权值和偏置值为：W（1，1）P1=1,W（1，2）P2=1，b=-1.所以n=P1+P2-1.上式在输入空间中定义了一条直线。直线一侧...
2019-09-15 23:22:50
384
原创 神经网络设计学习笔记（5）——感知机学习规则（1）
本次将介绍一种用于训练感知机网络的算法，是感知机能够学习求解分类问题。为此，这里将从介绍什么是学习规则开始，然后讨论如何设计感知机网络的学习规则。 本次博客将对何为学习规则，感知机的结构做简单介绍。为了学习如何让设计感知机网络的学习规则打好基础。1.学习规则所谓学习规则，就是修改神经网络的权值和偏置值的方法和过程。学习规则的目的是为了训练网络来完成某些工作。目前大致可以将学习规则分为三大类：有...
2019-09-09 23:43:36
1332
原创 神经网络设计学习笔记（4）——利用Hamming网络对水果进行分类（1）
在上一次博客已经简要阐述前馈网络（感知机）对水果的分类，这次学习Hamming网络，并用其对水果进行分类。依旧是分类苹果橘子的案例，工作流程如图，本次利用Hamming网络解决此问题，所以三个传感器的输出输入到Hamming神经网络。然后网络输出水果的类型，接着把不同类型的水果分别送到相应的储存仓内。就完成了对水果的分类。1.Hamming网络简介Hamming网络是专门为求解二值（问题中...
2019-09-01 23:40:29
725
原创 神经网络设计（3）—— 利用前馈网络对水果进行分类
在一条传送带上，有苹果和橘子 如何将他们利用神经网络进行分类，就是本次博客的内容，一共有三种网络，本次介绍前馈网络来处理这件事情。1.问题简述在运送水果的传送带上，有有一组感应器，可以测量水果的 外形，质地，重量。如果是圆形 传感器输出就是1 椭圆就是-1 以此类推表面光滑为1 粗糙为-1重量超过1磅 输出1 少于1磅 输出-1依此，每个水果都可以与如下三维向量来表示外形p=（质地...
2019-08-25 23:56:44
770
原创 神经网络设计学习笔记（2）——网络结构
在实际应用中，单个神经元根本做不了太多的事情，就算输入值有很多，也无济于事，只有团队再能发挥大作用，个人能力再强也没用。所以在实际中需要多个并行操作的的神经元，将并行操作的神经元的集合称为“层”。1.神经元的层下图就是由s个神经元组成的单层神经网络。R个输入中每一个均与每个神经元相连，而且权值矩阵有s行。输入向量通过如下权值矩阵进入网络：W(1.1) W(1.2) … ...
2019-08-18 19:19:28
212
原创 神经网络设计学习笔记（1）——神经元模型
利用一些简单的人工“神经元”构造一个小系统，然后对其进行训练，从而具备一定的功能，正是人类研究人工神经网络的出发点，我们在这里考虑的神经元不是生物神经元，他们是对生物神经元极其简单的抽象，可以用程序或硅电路实现的人工神经元。现在就对人工神经元的一些基础模型进行阐述。**神经元模型**神经元模型可以间的的分为单输入神经元和多输入神经元。1.单输入神经元如下图，为最基础的单输入神经元，需要...
2019-08-18 18:41:38
790
原创 初探人工神经网络（10）——Hopfield神经网络
1.简介Hopfield神经网络是一种递归神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值，而非全局极小的情况也可能发生。Hopfield网络也提供了模拟人类记忆的模型。离散Hopfield网络是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每...
2019-08-11 20:49:46
1059
原创 初探人工神经网络（9）——什么是Kohonen网络？
上次文章介绍了kohonen网络的一些基本概念，本次将继续介绍。1.SOM网络结构SOM网络结构如图 1 所示,它由输入层和竞争层(输出层)组成。输入层神经元数为 n 竞争层由m 个神经元组成的一维或者二维平面阵列,网络是全连接的,即每个输入结点都同所有的输出结点相连接。输入层的神经元数量由输入空间决定。输出层神经元的数量由用户定义，每个输出神经元对应一个位置信息（可以是一维空间的坐标或者二维...
2019-08-04 22:02:11
1881
原创 初探人工神经网络（8）——什么是Kohonen网络？
Kohonen网络也是模仿生物的一些特征从而出现的一种网络，在生物神经系统中，存在叫侧抑制的现象，就是一个神经细胞兴奋后，会对周围的细胞产生抑制作用，这种抑制作用会使神经细胞之间发生竞争，正所谓有压迫就有反抗，竞争的结果就是胜利者兴奋，失败者被抑制， Kohonen网络就是模仿这一生物现象。1981年芬兰Helsink大学的T.Kohonen教授提出 一种自组织特征映射网，简称SOM网，又...
2019-07-28 23:17:17
4646
原创 初探人工神经网络（7）
上次博客对LVQ网络有了一个简单介绍，本次将阐述他的结构和工作原理上次说LVQ神经网络由三层神经元组成，即输入层、竞争层和线性输出层。如下图所示： 输入层与竞争层之间采用全连接的方式，竞争层与线性输出层之间采用部分连接的方式。竞争层神经元个数总是大于线性输出层神经元个数，每个竞争层神经元只与一个线性输出层神经元相连接且连接权值恒为1.但是每个线性输出层神经元可以与多个竞争层神经元相连接。竞争层...
2019-07-28 22:20:37
144
原创 初探人工神经网络（6）
之前的博客写的是神经网络算法ART网络的简单介绍，从这次开始，我将对学习矢量量化（LVQ）网络进行阐述。学习向量量化LVQ(Learning Vector Quantization)神经网络，属于前向神经网络类型，在模式识别和优化领域有着广泛的的应用。与1988年提出的一种用于模式分类的有监督学习算法，是一种结构简单、功能强大的有监督式神经网络分类算法。典型的学习矢量量化算法有：LVQ1、LVQ...
2019-06-24 00:24:52
276
原创 初探神经网络（5）
上次进行的是ART网络运行原理匹配阶段的阐述，本次继续阐述其他阶段。在匹配阶段后，选出最大匹配度的竞争获胜神经元，进行下一段 比较阶段。比较阶段使得R层获胜神经元所连接的外星权向量 激活，从神经元j发出的n个权值信号返回到C层的n个神经元。此时，R层输出不全为零，则C层最新的输出状态取决于R层返回的外星权向量与网络输入模式X的比较结果。由于外星权向量是R层模式类的典型向量，该比较结果反...
2019-06-16 23:48:32
236
原创 初探神经网络（4）
上次微博阐述的是ART网络系统结构，这次将阐述的是网络运行原理。网络运行时接受来自环境的输入模式，检查输入模式与R层所有已存储模式类之间的匹配程度。R层所存储的模式类是通过对应R层神经元的外星权向量体现出来的，对于匹配程度最高的获胜神经元，网络要继续考察其存储模式类与当前输入模式的相似程度。相似程度按照预先设计的参考门限来考察，可能出现如下的情况：（1）如果相似度超过参考门限，将当前输入模式归...
2019-06-16 23:38:47
139
原创 初探神经网络（3）
初探神经网络（3）本次将继续上次的ART网络系统结构的阐述。上次提到ARTI网络结构由两层神经元构成两个子系统，分别为比较层C和识别层R，包含3种控制信号：复位信号R、逻辑控制信号G1和G2首先阐述比较层C。该层有n个神经元，每个接收来自3个方面的信号：外界输入信号，R层获胜神经元...
2019-06-02 11:32:52
137
原创 初探人工神经网络（2）
初探人工神经网络（2）人工神经网络算法其实有很多种，但是最主要的有四种。为ART网络、LVQ网络、Kohonen网络Hopfield网络这次博客主要阐述自适应共振理论（ART）网络1.历史发展：1976年， 美国 Boston 大学学者 G. A.Carpenter 提出自适应共振理论（Adaptive Resonance Theory ， ART ）， 他多年来一直试图为人类的心理和认知...
2019-05-19 23:22:15
322
原创 初探人工神经网络算法
***初探人工神经网络算法********壹--阐明什么是人工神经网络*** 人工神经网络（英文Artificial Neural Networks，ANN）系统是 20 世纪 40 年代后出现的。 简单来说，人工神经网络就是字面意思，人工模拟大脑的神...
2019-05-11 23:31:35
2285
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人