![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
计算智能
文章平均质量分 91
计算智能
有梦想的雨
这个作者很懒,什么都没留下…
展开
-
神经网络的结构
单一的神经元能够学习的函数是有限的,仅仅能学习线性可分的很熟;当学习非线性的复杂函数时,就要用到神经网络。同一层的神经元在两方面是相同:(一)同一层中的神经元连接着相同的源头,即他们的接收的信息是相同的;(二)同一层中的神经元有着相同的动态更新机制。即同一层中的神经元有着相同的连接源头、目的和相同的激活函数。一个神经网络中有两种权重:层内权重(intralayer weights)(intralayer \; weights)(intralayerweights)——指在同一层中神经元之间的权重;层原创 2021-12-29 11:53:29 · 899 阅读 · 0 评论 -
神经网络——神经元
神经网络的概念在此不做过多阐述,其应用领域包括:分类——即预测输入向量的类别;模式匹配——即产生与给定输入向量最佳关联的模式;模式完成——其目的是完成给定输入向量的缺失部分;优化——即找到优化问题中参数的最优值;控制——给定一个输入向量,得到建议的合适行为;函数拟合 / 时间序列模型——学习输入与输出之间的函数关系;数据挖掘——挖掘数据背后的模式(信息).....................一个神经完了实现的是一个从 RI\mathbb R^IRI 到 RK\mathbb R^K原创 2021-12-28 17:36:04 · 5008 阅读 · 0 评论 -
神经网络——激活函数
激活函数激活函数 fANf_{AN}fAN 接收节点输入信号和偏差,以 x=net−θx=net-\thetax=net−θ 表示,决定输出。一个好的激活函数需要满足以下条件:(1)非线性,即导数不是常数,其目的在于保证多重网络不退化成单层线性网络;(2)几乎处处可微:可微性保证了再梯度优化中梯度的可计算性;(3)计算简单:激活函数在神经网络前向传播过程中的使用次数与神经元的个数成正比,因此保证其计算的简单性是很有必要的;(4)非饱和性(saturation):饱和指的是在某些区间梯度接近于零(原创 2021-12-28 16:00:53 · 949 阅读 · 0 评论 -
粒子群算法(PSO)——算法详解(二)
粒子群算法的修正基础的PSO算法可以成功的解决一些问题,例如数学优化问题、组合问题即多层神经网络训练等。但也存在着算法收敛性与收敛速度等问题,因此对PSO算法有许多修正方法,用于提升性能。这些修改包括引入惯性权重、最大速度、速度收缩、确定个人最佳和全局最佳(或局部最佳)位置的不同方法,以及不同的速度模型。最大速度决定优化算法效率和准确性的很重要的一个方面是 exploration–exploitation trade−offexploration–exploitation\;\; trade-o原创 2021-12-27 16:50:16 · 3822 阅读 · 0 评论 -
粒子群算法(PSO)——算法详解(一)
PSO的算法配置粒子的速度更新公式:vi(t+1)=vi(t)+c1⋅r1(t)⋅[yi(t)−xi(t)]+c2⋅r2(t)⋅[y^i(t)−xi(t)]\mathbf v_{i}(t+1)=\mathbf v_{i}(t)+c_1\cdot \mathbf r_{1}(t)\cdot [\mathbf y_{i}(t)-\mathbf x_{i}(t)]+c_2\cdot \mathbf r_{2}(t)\cdot [\hat \mathbf y_{i}(t)-\mathbf x_{i}(t)]vi原创 2021-12-25 11:51:17 · 9300 阅读 · 1 评论 -
粒子群算法(PSO)——总体概述
粒子群算法(Particle swarm optimization ,PSO)PSO 是1995年由 Kennedy 和 Eberhart提出的一种算法。PSO和GA的相似之处在种群的初始化,都是随机生成初始解,但对于PSO的每个潜在解都会设置一个随机速度和位置,这被称为粒子,粒子在问题空间飞行来搜寻最优解。粒子个体执行很简单行为:去模拟其周围个体的“成功”与该粒子本身的“成功”。从这些简单个体简单行为的群体涌现实现了在高维空间中的最优解搜索。PSO根据他们邻居规模的不同被分为两种算法,分别是局部最优P原创 2021-12-24 21:18:46 · 9146 阅读 · 0 评论 -
进化计算——进化策略(ES)
进化策略(Evolution Strategies,ES)作为一个生物学类比,进化策略将问题的解决方案模型化为物种,而不是像之前描述的其他算法那样(多重变量的个体种群正态分布在适应度空间中)。因此,这些种群有能力去进化自己的进化能力来使他们适应他们所处的环境。如果说EP是基于行为进化的,那么ES则是基于进化的进化的(对进化这一行为本身进行进化)。尽管都是利用变异、交叉(重组),但在操作上,ES同EP和GA都有所不同。ES同EP一样,采取的是自上而下的视角,强调的是表现型行为而非基因型;ES同样使用实数作原创 2021-12-23 15:51:33 · 2407 阅读 · 0 评论 -
进化计算——进化规划(EP)
进化规划(Evolutionary programming,EP)EP同GA的不同之处在于,EP的种群进化集中于自上而下的适应性行为,它 的重点是开发行为模型,即可观测系统与环境交互的模型。自然进化理论对EP的原理和范式有着重要影响。EP源于对进化的适应性行为的模拟描述,而GA源于对基因的模拟;GA是在信息编码的基因空间起作用,而EP却强调可观测行为的表现型空间,因此,EP直接利用表现型行为进化来解决问题。EP在是一种更加灵活的利用进化解决问题的方法,它的操作子对问题是自适应的。例如,它的进化依赖于变异原创 2021-12-21 18:46:20 · 2830 阅读 · 1 评论 -
进化计算——遗传规划(GP)
遗传规划(Genetic Programming,GP)其他的进化算法(如,GA、ES、EP)都是将的单个结构(参数)定义为一个串(二进制串或实数串),但GP是将计算机程序以树结构表示,从而进行处理,每个染色体代表一个程序(树结构)。此外,其他进化算法的个体结构都是固定长度的,但通过GP进化的程序在大小、形状和复杂度上都是不同的。GP可以看做是遗传算法GA在执行程序进化时的特例,但它和一般的GA算法的不同之处在于:执行结构(程序)的成员不再是字符串或实数变量;GP的每个种群个体的适应度是通过执行它原创 2021-12-20 18:01:01 · 4395 阅读 · 2 评论 -
进化计算——总述
进化计算(Evolutionary Computation, EC)传统优化方法利用确定性的规则(如,求导)进行优秀解的搜寻,容易达到局部最优;而EC算法利用一个分布在解空间各处的点群进行搜索,每一代都会产生新的点,这些不同的点的搜索可以搜寻更大的空间,降低了陷入局部最优的可能性,而交叉、变异这些遗传操作有效提升了并行搜索能力,使得搜索点可以直接从一个高位空间区域跳转到另一个区域。事实上,EC使用的是基于概率的转换规则而并非完全随机的转换规则,例如,复制、选择操作通常选择的是群体中适应度值高的个体。对于问原创 2021-12-19 17:11:18 · 1064 阅读 · 0 评论 -
进化计算——遗传算法(GA)
遗传算法(Genetic Algorithms,GA)遗传算法(Genetic Algorithm,GA)最早是由美国的 John holland于20世纪70年代提出,该算法是根据大自然中生物体进化规律而设计提出的。是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法。通常将实际问题的参数编码为二进制串进行遗传操作,从而搜寻最优解。将每个二进制串染色体视为一个向量,则每个向量代表着实际优化问题中的一个参数。每个参数可以被编码为任意长度的bit原创 2021-12-18 22:50:20 · 1961 阅读 · 0 评论