weixin_43575792的博客

继续研读ACO算法论文，本文名为modified adaptive ant colony optimization algorithm，简称MAACO。

我们已经知道使用MDP来对强化学习进行建模，所以这次来学习如何求解MDP马尔可夫决策过程的形式为，求解MDP通常有两种方式，一种是求解最优策略，另一种是求解最优值函数。求解之前我们需要了解值函数和策略的概念，值函数是为了评估当前状态或状态-动作的期望回报，值函数根据场景分为两种，一种是状态值函数，另一种是状态动作值函数；策略对应着MDP中的P，也就是状态转移函数，根据策略智能体进行状态转移。

开始学习强化学习，真是一言难尽！百度百科定义：强化学习是智能体（Agent）以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。

最近看看蚁群算法和路径规划的结合，能不能想出一些idea。

生活中我们总能看到一群蚂蚁按照一条非常有规律的路线搬运食物回到巢穴，而且每只蚂蚁的路线都是近似相同且较优的，这种方法如果运用到我们的优化计算中效果会不会很好呢?蚁群系统(Ant System或Ant Colony System)是由意大利学者Dorigo、Maniezzo等人于20世纪90年代首先提出来的。他们在研究蚂蚁觅食的过程中，发现单个蚂蚁的行为比较简单，但是蚁群整体却可以体现一些智能的行为。百度百科定义：蚁群算法是一种用来寻找优化路径的概率型算法。

准备学习qpso，我导最出名的算法，已经成为pso领域的一个标杆psoqpso参数设定局部学习因子c1、全局学习因子c2、惯性因子w创新参数a随机性低高pso算法需要设定的参数包括c1、c2、w等，不利于训练优化；同时pso算法粒子缺乏随机性，容易陷入局部最优解；而qpso改进了上述缺点，其中需要设定的参数只有创新参数a，同时通过量子运动大大增加了粒子的随机性。

今天学习一下优化中非常出名的遗传(GA)算法 ，它的起源可是来自达尔文的生物进化论。从初始种群出发，采用优胜劣汰、适者生存的自然法则选择个体，并通过交叉、变异来产生新一代种群，如此逐代进化，直到满足目标为止。

fx)gx)Fxfxt∗min0gx2)Fx)Fxfx)Fxfxt∗gx2t→∞。

牛顿法通常用于求解目标函数的极小值，如果要求是求目标函数的最大值，将目标函数乘以负号后再按照上述步骤求解即可。求海森矩阵的逆矩阵G。为最优解点，最优解为。

正式开始学优化了，先学学自家实验室的成名算法PSO通过模拟群体中个体的合作与信息共享，从而引导整个群体向问题的最优解靠拢。PSO算法通过不断地更新粒子的位置和速度，模拟了粒子在搜索空间中的移动，以期望找到全局最优解。

共轭梯度法在第一次时迭代的过程和最速下降法一样，但从第二步开始共轭梯度法就发生了变化，共轭梯度法的梯度下降方法不再是直接根据当前点计算∇f(x)

最速下降法的相关问题中的条件提炼出来如下，如果题目没有误差e，那就要求最后迭代出来的梯度值。根据3的步骤开始，先求初始点的雅克比矩阵。接近0或等于0，一般自行选取e。为最优解点，最优解为。

简单说下KT点求解方法。

之前提到过RRT算法，现在简单提一下它的改进算法RRT*。

最近要考最优化了，感觉时间有点赶，所以就直接学了解题方法，没去学习具体的原理了。

最近遇到了一个需求，将小程序里面的具体时间转为当前时间差10小时前，这块可以使用js逻辑函数对数据进行处理，但这里我们采用微信小程序里面的过滤器wxs来进行处理。不同于vue2里面的filter函数，微信小程序里面给出的是wxs,；wxs(WeiXin Script) 是小程序独有的一套脚本语言，结合wxml，可以构建出页面的结构。wxml中无法调用在页面的js中定义的函数，但是wxml可以调用wxs中定义的函数，因此，小程序中wxs的典型应用场景是‘过滤器。

PRM方法相比于传统的A *算法，只是多了一步构建PRM地图，本质上还是在图上进行搜索；相比之下，本文所提到的RRT算法是基于采样的基础上构建树，同时在树结构上进行搜索。

之前提到的几种路径规划算法都建立在栅格地图上，在目前A算法比较盛行的情况下，暂时难以提出更好更稳定的静态地图搜索方法。那如何换一种方向思考呢？在使用A算法的前提下，我们要想提高路径规划的速度，就需要从地图方向入手，不去搜索原有的栅格地图而是去搜索基于采样点构建PRM路线图来提高路径规划效率。

之前说过A是目前应用最广泛的寻路算法，但是A算法存在它的局限性，那就是A*算法只能在静态环境中有着良好的表现，但是在动态环境中发挥有限，动态环境指路障会变化。因此为了应对该问题，科学家们提出了D *算法。