神经进化算法——利用NEAT算法解决迷宫导航问题，大厂面试必问

最新推荐文章于 2024-06-07 17:30:09 发布
最新推荐文章于 2024-06-07 17:30:09 发布
阅读量1.4k 收藏 17
点赞数 27
分类专栏： 2024年程序员学习 文章标签： 算法 数据库
本文链接：https://blog.csdn.net/imtokenmax/article/details/137206673
版权

  • 目标函数的定义

  • 迷宫导航实验

    • NEAT-Python超参数选择

  • 迷宫环境配置文件

  • 实验启动程序

  • 基因组适应度评估

  • 运行迷宫导航实验

  • 智能体记录可视化

  • 完整代码

迷宫导航问题

迷宫导航问题是经典的计算机问题，与创建可以在模糊环境中找到路径的自主导航智能体密切相关。迷宫环境中，面向目标的适应度函数在迷宫中接近最终目标点的死角中可以具有较大的适应度得分梯度。迷宫的这些区域成为基于目标搜索算法的局部最优解，这些目标算法可能会收敛于这些区域。当搜索算法收敛于这种欺骗性的局部最优时，它找不到合适的迷宫求解器。

在以下示例中，可以看到带有局部最优死角的二维迷宫，如图中阴影所示：

迷宫环境使用基于目标的搜索算法从起点导航到出口的迷宫导航智能体很容易陷入局部最优死角，阻碍基于目标的搜索算法找到成功的迷宫求解器。

假设迷宫中的智能体是配备了一组传感器的机器人，它可以检测附近的障碍物并判断通往迷宫出口的方向。机器人的运动由两个决策器控制，分别用于控制智能体的行驶运动和角运动。机器人的决策器由ANN控制，该ANN接收来自传感器的输入并为决策器产生两个控制信号。

迷宫环境模拟

迷宫模拟环境由三个主要组件构成，这些组件由单独的Python类实现：

  1. Agent：包含与模拟所使用的迷宫导航器智能体相关信息的类（agent.py）。

  2. AgentRecordStore：用于管理演化过程中所有智能体的评估记录的存储类。收集的记录可用于在完成进化过程后对其进行分析（agent.py）。

  3. MazeEnvironment：包含有关迷宫模拟环境信息的类。此类还提供了管理模拟环境、控制求解器智能体的位置、执行碰撞检测以及生成智能体传感器的输入人工神经网络(Artificial Neural Network, ANN)中数据的方法（maze_environment.py）。

接下来，将详细地介绍迷宫模拟环境的每个部分。

迷宫导航智能体

二维迷宫导航任务中，机器人的主要目标是在限定的时间内穿越迷宫到达定义的目标点。控制机器人的ANN是由神经进化算法获得的。

神经进化算法从基本的初始ANN配置开始——该配置只有传感器的输入节点和决策器的输出节点，算法运行过程中ANN配置逐渐变得复杂，直到找到成功的迷宫求解器为止。

下图显示了迷宫导航模拟中使用的迷宫智能体的示意图：

迷宫导航智能体

在上图中，实心圆表示机器人。实心圆中的箭头显示了机器人的前进方向。实心圆周围的六个箭头表示六个测距传感器，这些传感器指示在给定方向上到最近障碍物的距离。四个外圆线段表示四个扇形雷达传感器，它们充当着指向迷宫出口的指南针。

当从目标点到机器人中心的线落入其视场（FOV）内时，特定的雷达传感器将被激活。雷达传感器的检测范围受到落入其FOV的迷宫区域的限制。因此，在任何给定时间，四个雷达传感器之一被激活，指示迷宫出口方向。

雷达传感器相对于机器人的方向具有以下FOV区域：

| Sensor | FOV, degrees |

| — | — |

| Front | 315.0~405.0 |

| Left | 45.0~135.0 |

| Back | 135.0~225.0 |

| Right | 225.0~315.0 |

测距传感器是从机器人中心沿特定方向的射线。当与任何障碍物相交时，它将激活，并返回与障碍物的距离。该传感器的检测范围由特定的配置参数定义。

机器人的测距传感器监视与智能体前进方向相关的以下方向：

| Sensor | Direction, degrees |

| — | — |

| Right | -90.0 |

| Front-right | -45.0 |

| Front | 0.0 |

| Front-left | 45.0 |

| Left | 90.0 |

| Back | -180.0 |

机器人的运动由两个决策器控制，这两个决策可以更改其速度和角速度。

迷宫导航智能体的Python实现具有多个字段来保存其当前状态并维护其传感器的激活状态：

class Agent:

def init(

self,location,heading=0,speed=0,

angular_vel=0,radius=8.0,range_finder_range=100.0):

self.heading=heading

self.speed=speed

self.angular_vel=angular_vel

self.radius=radius

self.range_finder_range=range_finder_range

self.location=location

defining the range finder sensors

self.range_finder_range = [-90.0,-45.0,0.0,45.0,90.0,-180.0]

defining the radar sensors

self.radar_angles = [(315.0,405.0),(45.0,135.0),(135.0,225.0),(225.0,315.0)]

the list to hold range finders activations

self.range_finders = [None] * len(self.range_finder_angles)

the list to hold pie-slice radar acivations

self.radar = [None] * len(self.radar_angles)

上面的代码显示了Agent类的默认构造函数，其中Agent的所有字段都已初始化。迷宫环境模拟将使用这些字段在每个模拟步骤中存储智能体的当前状态。

迷宫环境实现

为了模拟在迷宫中导航的求解器智能体程序，需要定义一个环境，该环境管理迷宫的配置，跟踪迷宫求解器的位置，并为导航机器人的传感器数据阵列提供输入。

所有这些特性都适合封装到MazeEnvironment Python类中的一个逻辑块，该类包含以下字段：

class MazeEnvironment:

def init(self,agent,walls,exit_point,exit_range=5.0):

self.walls = walls

self.exit_point=exit_point

self.exit_range=exit_range

The maze navigating agent

self.agent = agent

The flag to indicate if exit was found

self.exit_found = False

The initial distance of agent from exit

self.initial_distance = self.agent_distance_to_exit()

上面的代码显示了MazeEnvironment类的默认构造函数及其所有字段的初始化：

  1. 迷宫的配置由walls和exit_point确定。墙是线段的列表，每个线段代表迷宫中的一堵墙，而exit_point是迷宫出口的位置。

  2. exit_range字段定义出口区域（exit_point周围的距离范围）的值。当智能体位于出口区域时，意味着成功解决了迷宫问题。

  3. agent字段包含对上一节中描述的已初始化智能体类的引用。

  4. initial_distance字段存储从智能体的起始位置到迷宫出口的距离。此值将用于智能体适应度得分计算。

传感器数据生成

智能体由ANN控制，该ANN需要接收传感器数据作为输入，以产生相应的控制信号作为输出。导航智能体配备了两种传感器的阵列：

  1. 六个测距传感器，用于检测与迷宫壁的距离，指示在特定方向上到最近障碍物的距离。

  2. 四个扇形雷达传感器，指示迷宫出口点的方向。

传感器值需要在每个模拟步骤中进行更新，并且MazeEnvironment类提供了更新两类传感器的方法。

测距传感器的阵列更新如下：

for i,angle in enumerate(self.agent.range_finder_angles):

rad = genometry.deg_to_rad(angle)

projection_point = genometry.Point(

x = self.agent.location.x + math.cos(rad) * \

self.agent.range_finder_range,

y = self.agent.location.y + math.sin(rad) * \

self.agent.range_finder_range

)

projection_point.rotate(

self.agent.heading,self.agent.location

)

projection_line = genometry.Line(

a = self.agent.location,

b = self.projection_point

)

min_range = self.agent.range_finder_range

for wall in self.walls:

found,intersection = wall.intersection(projection_line)

if found:

found_range = intersection.distance(self.agent.location)

if found_range < min_range:

min_range = found_range

store the distance to the closest obstacle

self.agent.range_finders[i] = min_range

代码枚举了测距传感器的所有检测方向，这些方向由方向角确定（Agent构造函数中的range_finder_angles字段）。然后针对每个方向创建一条投影线，该投影线从智能体的当前位置开始，其长度等于测距仪的检测范围。之后，测试投影线是否与任何迷宫壁相交。如果检测到多个交叉点，则到最近墙的距离将作为值存储到特定的测距传感器。否则，最大检测范围将保存为测距仪传感器的值。

扇形雷达传感器阵列使用MazeEnvironment类中的以下代码进行更新：

def update_radar(self):

target = genometry.Point(self.exit_point.x,self.exit_point.y)

target.rotate(self.agent.heading,self.agent.location)

target.x -= self.agent.location.x

target.y -= self.agent.location.y

angle = target.angle()

for i,r_angles in enumerate(self.agent.radar_angles):

self.agent.radar[i] = 0.0 # reset specific radar

if (angle >= r_angles[0] and angle <= r_angles[1]) or

(angle + 360 >= r_angles[0] and angle + 360 < r_rangles[1]):

fire the radar

self.agent.radar[i] = 1.0

创建迷宫出口点的副本，并相对于智能体的航向和全局坐标系内的位置旋转迷宫出口点。然后平移目标点以使其与迷宫求解器的局部坐标系对齐；智能体被放置在坐标的原点。之后，计算从坐标的原点到局部坐标系内目标点的矢量角度。该角度是从当前智能体位置到迷宫出口点的方位角。找到方位角后，枚举扇形雷达传感器，以找到在其视场中包含方位角的传感器。通过将其值设置为1来激活相应的雷达传感器，而通过将其值清零来停用其他雷达传感器。

导航智能体

智能体位置更新

从控制器ANN接收到相应的控制信号后，在每个模拟步骤中都需要更新迷宫中智能体的位置。执行以下代码以更新智能体的位置：

def update(self,control_signals):

if self.exit_found:

return True # Maze exit already found

self.apply_control_signals(control_signals)

vx = math.cos(genometry.deg_to_rad(self.agent.heading)) * \

self.agent.speed

vy = math.sin(genometry.deg_to_rad(self.agent.heading)) * \

self.agent.speed

self.agent.heading += self.agent.angular_vel

if self.agent.heading > 360:

self.agent.heading -=

最低0.47元/天 解锁文章
imtokenmax合约众筹
关注
  • 27
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经进化算法——利用NEAT算法解决迷宫导航问题（基于NEAT-Python）
m0_61072670的博客
05-02 841
使用基于目标的搜索算法从起点导航到出口的迷宫导航智能体很容易陷入局部最优死角，阻碍基于目标的搜索算法找到成功的迷宫求解器。假设迷宫中的智能体是配备了一组传感器的机器人，它可以检测附近的障碍物并判断通往迷宫出口的方向。机器人的运动由两个决策器控制，分别用于控制智能体的行驶运动和角运动。机器人的决策器由ANN控制，该ANN接收来自传感器的输入并为决策器产生两个控制信号。迷宫环境模拟Agent：包含与模拟所使用的迷宫导航器智能体相关信息的类（agent.py）。
神经进化算法——利用NEAT算法解决迷宫导航问题，Python面试必看书籍
m0_61068496的博客
03-22 824
此后，新的智能体位置将用于更新测距和雷达传感器，以估计下一个时间步的新传感器输入：最后，以下函数测试智能体是否已到达迷宫出口：如果已到达迷宫出口，则将exit_found字段的值设置为True以指示任务已成功完成，并且其值从函数调用中返回。
神经进化算法——利用NEAT算法解决迷宫导航问题（基于NEAT-Python）(1)
m0_61072670的博客
05-02 519
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
新颖性搜索（Novelty Search，NS）算法实践——利用NS算法解决迷宫导航问题
2401_84009317的博客
04-22 321
该部分详细介绍参考链接。
新颖性搜索（Novelty Search，NS）算法实践——利用NS算法解决迷宫导航问题(1)
2401_83704192的博客
04-11 569
该部分详细介绍参考链接。
NEAT算法 的Python版本（增强拓扑的神经进化）_python_代码_下载
06-08
NEAT 背后的基本思想是发展网络拓扑（结构适应）和权重/偏差（参数适应）
Python-PyTorch实现的NEAT神经进化算法
08-11
PyTorch 实现的NEAT (NeuroEvolution of Augmenting Topologies)神经进化算法
整洁的python：NEAT神经进化算法的Python实现
02-27
NEAT（增强拓扑的神经进化）是由Kenneth O. Stanley开发的一种用于演化任意神经网络的方法。 该项目是NEAT的纯Python实现，除了标准库外没有任何依赖项。 它来自@MattKallada的出色项目，目前正在更新中，以提供更多...
pytorch-neat:NEAT（增强拓扑的神经进化）算法的pytorch实现
05-03
NEAT（增强拓扑的神经进化）方法的PyTorch实现，最初是由Kenneth O. Stanley创建的，是进化神经网络的一种有原则的方法。 。 实验 PyTorch-NEAT当前包含三个内置实验：XOR，单极平衡和汽车爬山。 异或实验 使用以下...
neat-tfjs:使用tf.js的NEAT神经进化算法的Javascript实现
05-18
整洁的tfjs 使用的Javascript实现 该项目仍在进行中。 安装 git clone https://github.com/Coac/neat-tfjs.git cd neat-tfjs npm install 开发人员 npm run watch
回溯之分割回文串
JINbigXIA的博客
06-04 216
思路：直接看回溯函数的内容，首先我们是取段的，如果这一段不行那就往后面加1，直到加道循环结束。如果可以取端，并且取到了最后一段，也就是开始的startIndex大于等于size那么就代表这一条都是回文字符串。然后需要一个判断函数，判断字符串是否为回文字符串，如果是往path里面加。学到的新函数：array.substr( a ,b) a表示字符串的开始，b表示数量 含义：选取字符串array从a开始往后的b个数。难点：这里用到一个很取段的思路，其实和取点的内容差不多，但是取端更难理解。
算法-找出N个数组的共同元素
Python领域优质萌新创作者
06-02 547
3.1、使用集合的intersection_update方法，将当前编辑的新闻编号集合与common_news_set取交集，并更新common_news_set。1.1、使用集合的交集操作找出被所有编辑共同编辑过的新闻：遍历每个新闻集合进行交集操作，时间复杂度为O(K)，其中K为所有编辑操作的总数。3.2、这样，common_news_set中将保留与当前编辑共同编辑过的新闻编号，即找到所有编辑共同编辑过的新闻编号的交集。news_ids: 一个包含N个列表的列表，每个列表包含一个编辑编辑过的新闻编号。
6月4号总结
2301_80314483的博客
06-04 490
题意：题目给出两个数组，a数组为任务第一次完成加的经验，b数组为第2次或者以上完成这个任务所加的经验，并且第i个任务必须i-1个任务完成后才能解锁，一开始时，任务1是可以完成的，k是可以完成的任务次数，求最大经验。n的范围是1x10^5，所以不能暴力，但是我们需要找出的是最大值，那么我们只需要找到每个数字最大的三个数字的下标，再进行一个三重for循环即可。A问题要学1分钟，Z问题要学26分钟，按照这个规律，看字符串问题出现的次数，如果出现次数大于要学的时间，那么意味这解决了这个问题。
leetcode 279.完全平方数
m0_73917165的博客
06-04 202
注意：初始化的时候并不能让dp[0]=0，因为当和为零的时候是没有完全平方数可以组成的，0也不是完全平方数，0的平方没有意义。然后再进行完全背包的筛选问题。这里将个数作为价值，都是1，容积其实就是数本身。可以首先预处理出来所谓的完全平方数有什么东西，存储到一个数组当中。思路：完全背包问题。
49. 字母异位词分组
qq_35085273的博客
06-04 1134
头好痛，不做了今天
KMP算法（题目）
Ryan_hsMax的博客
06-04 523
题目描述：给定一个父字符串 s 和子字符串 p ，请按照从前向后的顺序，请求出 p 在 s 中所有出现的起始位置。例如：s=ABADABCEABABA，p=ABA，则求解的结果是：1 9 11。输入：第 1 行读入一个仅包含大写字母的字符串 s；第 2 行读入一个仅包含大写字母的字符串 p；s 和 p 均是长度不超过 106 的字符串。输出：输出 1 行，按题意输出 p 在 s 中出现的位置，数字之间用空格隔开。样例：输入：ABA输出：1 9 11。
代码随想录算法训练营day43
最新发布
weixin_43390031的博客
06-07 749
遍历顺序，从背包容量大到小遍历；递推公式，和之前一样，当i能装进去的时候，dp[j]=max(dp[j],dp[j-stones[i]]+stones[i])；举例，这种不好想的题目，还是得举例的，nums=[1,1,1,1,1]，target=3，x=4，dp初始化为[1,0,0,0,0]，当i=0时，dp由递推公式计算的[1,1,0,0,0]，i=1时，[1,2,1,0,0]，i=2时，[1,3,3,1,0]，i=3时，[1,4,6,4,1]，i=4时，[1,5,10,10,5]，最终答案为5，符合。
进化神经网络搜索算法开源代码
03-07
进化神经网络搜索算法是一种基于进化算法和神经网络的优化方法，用于解决复杂的搜索和优化问题。在开源社区中，有一些优秀的进化神经网络搜索算法的开源代码可供使用。以下是其中几个常用的开源代码： 1. NEAT-Python：NEAT（NeuroEvolution of Augmenting Topologies）是一种经典的进化神经网络算法，NEAT-Python是其Python版本的开源实现。它提供了一个灵活的框架，可以用于构建、训练和优化神经网络。 2. HyperNEAT：HyperNEAT是NEAT的扩展版本，它通过使用神经网络来表示问题的拓扑结构，从而提高了搜索效率。HyperNEAT的开源实现可以在GitHub上找到。 3. DeepEvolve：DeepEvolve是一个基于遗传算法的深度神经网络搜索算法。它通过遗传算法来搜索神经网络的超参数和结构，以获得更好的性能。DeepEvolve的代码可以在GitHub上找到。 4. NeuroEvolution：NeuroEvolution是一种使用进化算法来训练神经网络的方法。在开源社区中，有一些实现了NeuroEvolution的库，如NEAT-Java和NEAT-JS等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值