- 博客(73)
- 收藏
- 关注
RSS订阅原创 误差反向传播算法（BP，Back-Propagation algorithm）(二）
有关BP算法的原理及推导可参见**误差反向传播算法（BP，Back-Propagation algorithm）(一）*BP算法分析利用 BP 算法对网络进行训练，每一次前向传播，则必有一次后向传播来修改网络权值；后向传播的计算代价和前项是一致的，因此BP网络的计算代价是前向网络的两倍。BP网络具备很强的非线性映射能力，能够学习和存储大量输入—输出模式映射，而无须存在描述这种映射关系的数学方程。同时，假定隐层的节点可以根据需要自由设置，那么三层的 Sigmoid 激活函数的网络可以以任意精度逼近任何连
2021-12-31 10:54:25
904
原创 误差反向传播算法（BP，Back-Propagation algorithm）(一）
多层感知器网络（MLP）的设计1.选定层数：通常采用三层网络（因为增加网络层数并不能提高网络的分类能力；2.输入层：输入层节点数为输入特征的维数 n， 激活函数采用线性函数；3.隐层：隐层可实现非线性分类，其节点数需要设定；一般的，隐层节点数越多，网络的分类能力就越强，激活函数一般采用 Sigmoid 函数；4.输出层：输出层节点数可以等于类别数，也可采用编码输出的方式（少于类别数），激活函数可使用线性函数或Sigmoid 函数。如上图所示，该三层网络的判别函数形式为Y3=f3(∑k=1n2w
2021-12-30 21:27:42
1114
原创 机器学习——感知器
单个感知器一个最简单的感知器示意图如下所示：功能描述设样本集 X={X1,X2,⋯ ,Xi,⋯ ,Xm}\mathbf X=\{X_1,X_2,\cdots,X_i,\cdots,X_m\}X={X1,X2,⋯,Xi,⋯,Xm}，记输入向量 Xi=X=(x1,x2,⋯ ,xn)TX_i=X=(x_1,x_2,\cdots,x_n)^TXi=X=(x1,x2,⋯,xn)T，则输入向量可表示为高维空间中的一个点；感知器 jjj 对应的权重为 wj=(w1j,⋯ ,wnj)Tw_j=(w_
2021-12-29 21:07:30
1955
原创 神经网络的结构
单一的神经元能够学习的函数是有限的，仅仅能学习线性可分的很熟；当学习非线性的复杂函数时，就要用到神经网络。同一层的神经元在两方面是相同：（一）同一层中的神经元连接着相同的源头，即他们的接收的信息是相同的；（二）同一层中的神经元有着相同的动态更新机制。即同一层中的神经元有着相同的连接源头、目的和相同的激活函数。一个神经网络中有两种权重：层内权重(intralayer weights)(intralayer \; weights)(intralayerweights)——指在同一层中神经元之间的权重；层
2021-12-29 11:53:29
1069
原创 神经网络——神经元
神经网络的概念在此不做过多阐述，其应用领域包括：分类——即预测输入向量的类别；模式匹配——即产生与给定输入向量最佳关联的模式；模式完成——其目的是完成给定输入向量的缺失部分；优化——即找到优化问题中参数的最优值；控制——给定一个输入向量，得到建议的合适行为；函数拟合 / 时间序列模型——学习输入与输出之间的函数关系；数据挖掘——挖掘数据背后的模式（信息）.....................一个神经完了实现的是一个从 RI\mathbb R^IRI 到 RK\mathbb R^K
2021-12-28 17:36:04
5225
原创 神经网络——激活函数
激活函数激活函数 fANf_{AN}fAN 接收节点输入信号和偏差，以 x=net−θx=net-\thetax=net−θ 表示，决定输出。一个好的激活函数需要满足以下条件：（1）非线性，即导数不是常数，其目的在于保证多重网络不退化成单层线性网络；（2）几乎处处可微：可微性保证了再梯度优化中梯度的可计算性；（3）计算简单：激活函数在神经网络前向传播过程中的使用次数与神经元的个数成正比，因此保证其计算的简单性是很有必要的；（4）非饱和性（saturation）：饱和指的是在某些区间梯度接近于零（
2021-12-28 16:00:53
1081
原创 模板匹配——弹性匹配
弹性匹配基本概念对于人脸匹配，可将人脸看做非刚性模型来匹配人脸结构。对该系统进行训练，采用人工标定人脸特征点，用局部特征描述方法（如Gabor jets）来提取每个特征点的特征。在多人中抽取这些特征点，可得到一种不变性规律——弹性串图，用于表示非刚性或者可变形事物。比较一个传图和新的人脸图像，采用迭代法找到每个弹性图特征点位置和特征之间的最小距离，即为弹性图匹配。在人脸姿态估计中，对每个姿势建立一个弹性图。输入新的人脸图像，将其与弹性图进行匹配，找到最大的匹配结果，作为该图的姿态。优点：采用弹性图匹配
2021-12-27 22:41:43
1495
原创 粒子群算法（PSO）——算法详解（二）
粒子群算法的修正基础的PSO算法可以成功的解决一些问题，例如数学优化问题、组合问题即多层神经网络训练等。但也存在着算法收敛性与收敛速度等问题，因此对PSO算法有许多修正方法，用于提升性能。这些修改包括引入惯性权重、最大速度、速度收缩、确定个人最佳和全局最佳(或局部最佳)位置的不同方法，以及不同的速度模型。最大速度决定优化算法效率和准确性的很重要的一个方面是 exploration–exploitation trade−offexploration–exploitation\;\; trade-o
2021-12-27 16:50:16
4355
原创 粒子群算法（PSO）——算法详解（一）
PSO的算法配置粒子的速度更新公式：vi(t+1)=vi(t)+c1⋅r1(t)⋅[yi(t)−xi(t)]+c2⋅r2(t)⋅[y^i(t)−xi(t)]\mathbf v_{i}(t+1)=\mathbf v_{i}(t)+c_1\cdot \mathbf r_{1}(t)\cdot [\mathbf y_{i}(t)-\mathbf x_{i}(t)]+c_2\cdot \mathbf r_{2}(t)\cdot [\hat \mathbf y_{i}(t)-\mathbf x_{i}(t)]vi
2021-12-25 11:51:17
10412
1
原创 粒子群算法（PSO）——总体概述
粒子群算法（Particle swarm optimization ，PSO）PSO 是1995年由 Kennedy 和 Eberhart提出的一种算法。PSO和GA的相似之处在种群的初始化，都是随机生成初始解，但对于PSO的每个潜在解都会设置一个随机速度和位置，这被称为粒子，粒子在问题空间飞行来搜寻最优解。粒子个体执行很简单行为：去模拟其周围个体的“成功”与该粒子本身的“成功”。从这些简单个体简单行为的群体涌现实现了在高维空间中的最优解搜索。PSO根据他们邻居规模的不同被分为两种算法，分别是局部最优P
2021-12-24 21:18:46
9592
原创 聚类——基于层次的聚类算法
基于层次的聚类算法（Hierarchical Clustering）当不知道应该分为几类时，使用层次聚类比较适合。层次聚类会构建一个多层嵌套的分类，类似一个树状结构。可以选择一个聚类数量，根据需求对树状图中画一条水平线,得到对应的聚类。自底向上的聚类从点作为个体簇开始，迭代时每一步合并两个最接近的簇，直到所有样本合并为一簇。基本步骤：每个样本点自成一类。选择最近的两个类聚成一类。计算新的类与类之间的距离。重复第 2、3 步直至所有的样本点聚为一类。初始时，每个簇只有一个样本，搜索相
2021-12-24 14:03:32
4649
原创 聚类——基于距离阈值的聚类算法
基于距离阈值的聚类算法1.最大最小距离算法算法思想对待分类模式样本集以最大距离选取新的聚类中心，以最小距离原则进行模式归类。算法步骤从N个样本集中的任选取一个样本，作为第一个聚类中心 z1z_1z1；选取距离第一个聚类中心 z1z_1z1 最远的样本作为第二个聚类中心 z2z_2z2；计算剩余样本与 z1,z2z_1,z_2z1,z2之间的距离，并求出他们中的最小值，即：dij=∣∣xi−zj∣∣, j=1,2 ; di=min[di1,di2], i
2021-12-23 17:26:16
4809
原创 进化计算——进化策略（ES）
进化策略（Evolution Strategies，ES）作为一个生物学类比，进化策略将问题的解决方案模型化为物种，而不是像之前描述的其他算法那样（多重变量的个体种群正态分布在适应度空间中）。因此，这些种群有能力去进化自己的进化能力来使他们适应他们所处的环境。如果说EP是基于行为进化的，那么ES则是基于进化的进化的（对进化这一行为本身进行进化）。尽管都是利用变异、交叉（重组），但在操作上，ES同EP和GA都有所不同。ES同EP一样，采取的是自上而下的视角，强调的是表现型行为而非基因型；ES同样使用实数作
2021-12-23 15:51:33
2769
原创 进化计算——进化规划（EP）
进化规划（Evolutionary programming，EP）EP同GA的不同之处在于，EP的种群进化集中于自上而下的适应性行为，它 的重点是开发行为模型，即可观测系统与环境交互的模型。自然进化理论对EP的原理和范式有着重要影响。EP源于对进化的适应性行为的模拟描述，而GA源于对基因的模拟；GA是在信息编码的基因空间起作用，而EP却强调可观测行为的表现型空间，因此，EP直接利用表现型行为进化来解决问题。EP在是一种更加灵活的利用进化解决问题的方法，它的操作子对问题是自适应的。例如，它的进化依赖于变异
2021-12-21 18:46:20
3472
1
原创 聚类——总述
聚类（Clustering）的基本概念聚类属于无监督学习，在聚类前数据没有分类或分组信息。聚类是寻找数据之间内在结构，按照特定标准(如距离准则、相似性系数)把全体数据样本组织成一些相似簇；使得处于相同簇中的数据样本彼此相似性尽可能大，处于不同簇中的样本彼此差异性尽可能地大。聚类的结果在很大程度上取决于事先设定的参数（如类别，初始点等），例如：聚类性能好坏的度量类内相似度高，类间相似度低。度量聚类结果好坏的依据有：可测量性、处理不同类型样本的能力、发现任意形状簇的能力、输入参数所需的先验知识、处理噪声
2021-12-20 21:12:33
2482
原创 进化计算——遗传规划（GP）
遗传规划（Genetic Programming，GP）其他的进化算法（如，GA、ES、EP）都是将的单个结构（参数）定义为一个串（二进制串或实数串），但GP是将计算机程序以树结构表示，从而进行处理，每个染色体代表一个程序（树结构）。此外，其他进化算法的个体结构都是固定长度的，但通过GP进化的程序在大小、形状和复杂度上都是不同的。GP可以看做是遗传算法GA在执行程序进化时的特例，但它和一般的GA算法的不同之处在于：执行结构（程序）的成员不再是字符串或实数变量；GP的每个种群个体的适应度是通过执行它
2021-12-20 18:01:01
5816
3
原创 基于几何特征的模板匹配
基于几何特征（边缘特征）的模板匹配基于几何特征的模板匹配通过计算模板图像与目标图像特征信息，来判断目标图像中是否有与模板图像相近或相同的图像。匹配流程如下：1.制作一个模板，并使模板图像以一定角度旋转，得到0∘∼360∘0^\circ\sim360^\circ0∘∼360∘的各个分析的模板；2.模板图像T从目标图像的原点处开始每次移动一个像素，直到匹配分数达到要求找到目标物体。基于边缘特征的模板创建首先从模板图像的边缘创建一个数据集（模板模型），然后到目标图像中搜索相近或相同的图像。图像边缘的
2021-12-20 10:15:59
1285
原创 进化计算——总述
进化计算（Evolutionary Computation， EC）传统优化方法利用确定性的规则（如，求导）进行优秀解的搜寻，容易达到局部最优；而EC算法利用一个分布在解空间各处的点群进行搜索，每一代都会产生新的点，这些不同的点的搜索可以搜寻更大的空间，降低了陷入局部最优的可能性，而交叉、变异这些遗传操作有效提升了并行搜索能力，使得搜索点可以直接从一个高位空间区域跳转到另一个区域。事实上，EC使用的是基于概率的转换规则而并非完全随机的转换规则，例如，复制、选择操作通常选择的是群体中适应度值高的个体。对于问
2021-12-19 17:11:18
1349
原创 图像处理——SIFT算法
[SIFT算法原文(Distinctive Image Features from Scale-Invariant Keypoints)SIFT算法（Scale-invariant feature transform），即尺度不变特征变换，由David Lowe提出，是一种基于局部兴趣点的算法，因此不仅对图片大小和旋转不敏感，而且对光照、噪声等的抗干扰能力也很好。主要步骤尺度空间极值探测（Scale-space extrema detection）利用高斯差分函数对整个图像进行搜索，识别潜在的对缩放
2021-12-19 17:03:08
3106
原创 进化计算——遗传算法（GA）
遗传算法（Genetic Algorithms，GA）遗传算法（Genetic Algorithm，GA）最早是由美国的 John holland于20世纪70年代提出,该算法是根据大自然中生物体进化规律而设计提出的。是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。通常将实际问题的参数编码为二进制串进行遗传操作，从而搜寻最优解。将每个二进制串染色体视为一个向量，则每个向量代表着实际优化问题中的一个参数。每个参数可以被编码为任意长度的bit
2021-12-18 22:50:20
2230
原创 数据结构——线性表
线性表线性结构的基本特点：除第一个元素无直接前驱，最后一个元素无直接后继之外，其他每个数据元素都有一个前驱和后继。顺序表：用一组地址连续的存储单元依次存储线性表的数据元素。特点：逻辑上相邻的数据元素， 其物理次序也是相邻的。一般的，线性表的第 i 个数据元素aia_iai的存储位置为：loc(ai)=loc(a1)+(i−1)⋅lloc(a_i)=loc(a_1)+(i-1)\cdot lloc(ai)=loc(a1)+(i−1)⋅l因此， 只要确定了存储线性表的起始位置， 线性表中任
2021-12-17 21:32:59
262
原创 数据结构——栈和队列
栈栈 (stack) 是限定仅在表尾进行插入或删除操作的线性表。 因此， 对栈来说， 表尾端有其特殊含义， 称为栈顶 (top), 相应地， 表头端称为栈底 (bottom)。栈的修改是按**后进先出 (Last In First Out, LIFO)**的原则进行的。队列和栈相反，队列(queue)是一种先进先出(First In First Out, FIFO)的线性表。它只允许在表的一端进行插入，而在另一端删除元素。这排队是一致的。在队列中，允许插入的一端称为队尾(rear), 允许 删除的
2021-12-17 21:29:12
396
原创 栈和队列——队列的链表实现（C语言）
队列(queue)是一种 先进先出(First In First Out, FIFO) 的线性表。链队列的C语言实现头函数#include<stdio.h>#include<stdlib.h>//结果函数状态代码 #define TRUE 1#define FALSE 0#define OK 1#define ERROR 0#define INFEASIBLE -1#define OVERFLOW -2#define MAXSIZE 100typed
2021-12-17 21:23:53
542
原创 栈和队列——队列的顺序表实现（C语言）
队列(queue)是一种 先进先出(First In First Out, FIFO) 的线性表。循环顺序队列的C语言实现头文件 // 循环顺序队列 ----少用一个元素空间 #include<stdio.h>#include<stdlib.h>//结果函数状态代码 #define TRUE 1#define FALSE 0#define OK 1#define ERROR 0#define INFEASIBLE -1#define OVERFLOW -
2021-12-17 21:13:26
598
原创 栈和队列——链栈的C语言实现
链栈是指采用链式存储结构实现的栈。链栈的C语言实现头文件#include<stdio.h>#include<stdlib.h>//结果函数状态代码 #define TRUE 1#define FALSE 0#define OK 1#define ERROR 0#define INFEASIBLE -1#define OVERFLOW -2#define MAXSIZE 100typedef int Status;// Status--函数的类型，其值
2021-12-17 21:03:12
290
原创 栈和队列——顺序栈的C语言实现
栈是一个后进先出 (Last In First Out, LIFO) 的线性表。顺序栈的C语言实现头文件#include<stdio.h>#include<stdlib.h>//结果函数状态代码 #define TRUE 1#define FALSE 0#define OK 1#define ERROR 0#define INFEASIBLE -1#define OVERFLOW -2#define MAXSIZE 100typedef int St
2021-12-17 20:56:43
558
原创 线性表——双向循环链表的C语言实现
在双向链表的结点中有两个指针域，一个指向直接后继， 另一个指向直接前驱。双向循环链表的C语言实现头文件#include<stdio.h>#include<stdlib.h>//结果函数状态代码 #define TRUE 1#define FALSE 0#define OK 1#define ERROR 0#define INFEASIBLE -1#define OVERFLOW -2#define MAXSIZE 100 //顺序表可能达到的最大长度
2021-12-17 19:25:33
669
原创 线性表——循环单链表C语言实现
循环链表(CircularLinked List)是另一种形式的链式存储结构。其特点是表中最后一个结点的指针域指向头结点，整个链表形成一个环。由此，从表中任一结点出发均可找到表中其他结点。循环单链表的C语言实现头文件#include<stdlib.h>#include<stdio.h>//结果函数状态代码 #define TRUE 1#define FALSE 0#define OK 1#define ERROR 0#define INFEASIBLE -
2021-12-17 19:14:04
646
原创 线性表——单链表的C语言实现
单链表——线性表链式存储结构的特点是：用一组任意的存储单元存储线性表的数据元素（这组存储单元可以是连续的，也可以是不连续的）。为了表示每个数据元素aia_iai与其直接后继数据元素 之间的逻辑关系，对数据元素aia_iai来说，除了存储其本身的信息之外，还需存储一个指示其直接后继的信息（即直接后继的存储位置）。 这两部分信息组成数据元素aia_iai的存储映像，称为结点。单链表的C语言实现状态码#include<stdio.h>#include<stdlib.h>/
2021-12-17 18:56:47
1246
原创 线性表——顺序表的C语言实现
线性表的顺序表示指的是用一组地址连续的存储单元依次存储线性表的数据元素， 这种表示也称作线性表的顺序存储结构或顺序映像。通常， 称这种存储结构的线性表为顺序表(Sequential List)。其特点是，逻辑上相邻的数据元素， 其物理次序也是相邻的。状态码#include<stdio.h>//结果函数状态代码 #define TRUE 1#define FALSE 0#define OK 1#define ERROR 0#define INFEASIBLE -1#defi
2021-12-17 17:57:21
889
原创 基于像素的模板匹配
基于像素的模板匹配输入源图像Source image（I）; 模板图像Template image（T）结果矩阵result Matrix（R）1.平方差匹配法最好的匹配值为0；匹配越差，匹配值越大R(x,y)=∑x′,y′[T(x′,y′)−I(x+x′,y+y′)]2\displaystyle R(x,y)=\sum_{x',y'}[T(x',y')-I(x+x',y+y')]^2R(x,y)=x′,y′∑[T(x′,y′)−I(x+x′,y+y′)]22.归一化平方差匹配法R(x,y)
2021-12-17 16:31:04
770
原创 图像处理中的模板匹配
概念：把对同一景物在不同时间、不同成像条件下获取的多幅图像在空间上对准；根据已知模式到另一幅图中寻找相应模式的处理方法。原理：在待搜寻的图像中，移动模板图像，在每个位置测量待搜寻图像的子图像和模板图像的差值，当相似度最大时，记录其相应位置，完成匹配。搜索域：以两幅图像的原点为参考点，参考图像R在待 搜寻图像 I 中平移（r，s）个单位，所能移动的最大区域为搜索区域。将模板图像块，从左到右，从上到下，每次移动一个像素。在每一个位置上，都进行一次计算来度量匹配的好坏程度。把度量值保存到结果图像.
2021-12-17 16:29:52
2888
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人