2020联合作战智能博弈挑战赛之（十八）三种强化学习方法介绍

于 2020-11-19 14:35:50 发布
阅读量488 收藏 1
点赞数
分类专栏： 机器学习 文章标签： sarsa qlearning 蒙特卡洛
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dragon_T1985/article/details/109811531
版权
该博客对比分析了三种强化学习算法：SARSA、Q-Learning和蒙特卡洛方法，探讨它们在解决联合作战智能博弈问题中的应用和差异。建议读者通过提供的链接深入了解相关视频内容。
摘要由CSDN通过智能技术生成

简单对比了蒙特卡洛、qlearning和sarsa。由于csdn编辑页不支持上传抖音视频，这里附上一个链接，感兴趣的同学可以去了解一下。

AlphaFinance
关注
专栏目录
订阅专栏
2020联合作战智能博弈挑战赛之（十二）战争迷雾
AlphaFinance
09-16 449
2020年9月8日笔记 工作环境变差，台式机开始不方便使用，只好用笔记本配的环境在极速版里调试。为蓝方划分出若干警戒区域，对危险区域即时进行补防。无法避开的长时间讨论家事，筋疲力尽。 2020年9月9日笔记 继续检查蓝方代码BUG。添加注释。准备即时计算红方护卫舰的火力范围。开了一下午没用的会，晚上尽量收缩处理家事的时间。 2020年9月10日笔记 继续对蓝方的源代码进行理解，有一个难点是维护蓝方歼击机攻击对象的target_list和red_dic。发现了蓝方区域补防的逻辑漏洞。利用插值法精细化
2020联合作战智能博弈挑战赛之（十九）BERT
AlphaFinance
12-03 578
2020年11月21日笔记 已慢慢淡出比赛的我目前没有心情继续研究强化学习里面的深层次技术。最近对NLP产生了一些兴趣。今天在github里找了一个用BERT写的框架，项目名字是bert_classification。由于该框架中一些代码已经不支持tensorflow3.x了，如果不去降低tensorflow的版本无法运行源程序。由于我比较喜欢用最新的api，降低版本不是首选之策。那么就需要手动去更改里面一些包的位置。重灾区在tf.contrib里面。举个例子，经过一番搜索，发现tf.contrib.da
2020联合作战智能博弈挑战赛之（九）86:5
AlphaFinance
08-26 525
2020年8月26日笔记 为热身赛先提交一版。继续修改规则体中不完善的地方。分别优化南北两个岛屿上地防防守朝向，优化红方轰炸机返航逻辑。向管理员反馈态势端地防的显示bug。 发现原代码中即使红方飞机进入了蓝方地防防守区域，蓝方地防也没有开机。 调整源代码中可能是累赘的init函数。 ...
2020联合作战智能博弈挑战赛之（三）艰难前行
AlphaFinance
08-14 661
2020年8月10日笔记 没有足够的时间来参加这个比赛，只能抽零星时间缓慢推进。对于强化学习而言，获取任意时刻的态势信息至关重要。在该项目中，态势信息存储于state.json，step函数至关重要。到了凌晨快一点，终于对代码的框架结构进一步熟悉了。 对每一帧而言，为所有智能体输入态势信息；对每一个智能体而言，根据当前态势执行step函数并返回指令集；进行行为校验后执行指令集。 2020年8月11日笔记 继续熟悉源码。确认了作品提交需要包含的内容。再一次运行可视化界面进行观察。 ...
2020联合作战智能博弈挑战赛之（四）Windows
AlphaFinance
08-17 450
2020年8月17日笔记 一个疲惫、嘈乱的周末终于结束了。又能坐在电脑旁解决上周五遗留下来的问题了！将agent包名随意修改为agents后终于使得程序可以在windows下的pycharm中直接运行了。然后用ipconfig查到了自己机器的ipv4以后连上了态势端。终于可以加断点来调试代码了。 根据1.3.1的要求安装func-timeout。将pip从19.3.1升级到20.2.2。添加pip的环境变量。 ...
2020联合作战智能博弈挑战赛之（八）热身赛
AlphaFinance
08-26 416
2020年8月25日笔记 将红方和蓝方都需要用的部分变量提取到单独的文件里。两天前就出了极速版V1.3，到今天才看到。举办方给出了一个强化学习的例子，真是雪中送炭！ 准备先将目前的半成品交了再说。这样需要将代码再次拷入虚拟机测试运行结果。不过现在虚拟机打不开了。如下图所示： ...
2020联合作战智能博弈挑战赛之（十）固态盘
AlphaFinance
09-01 281
2020年8月27日笔记 昨晚搞到凌晨简单配了一下tensorflow版的demo，还没弄成功。今天早上和杨光讨论了一下蓝方如何防御比较有效，打消了我下一步想去试试蓝方贴边绕路去轰红方机场的思路。今天下午之前热身赛还可以提交一版，看白天剩下的一点时间能不能再加强一下蓝方。 准备缩小蓝方歼击机和轰炸机的防御区域，放弃中央战场，避免进入红方护卫舰的射击范围。优化预警机的部署位置，使其能侦察到更远范围。 ...
2020联合作战智能博弈挑战赛之（五）红方碾压
AlphaFinance
08-19 615
2020年8月18日笔记 继续阅读代码，了解干扰机的功能，了解几类飞机的编组方法。运行了几次发现红方机群打掉蓝军北指挥所后直接就会通过巡逻命令回基地了，因此尝试将6架轰炸机的起飞突击任务目的地修改为南指挥所。 2020年8月19日笔记 发现态势端如果出现问题重启一下态势端可以解决。今天有了有效思路，得想办法知道己方轰炸机是在哪里被谁击落，发射出去的导弹都打了谁，有没有打中。在考虑轰炸机是否有效摧毁目标之前应先观察轰炸机在被击落前是否有效使用了弹药。虽然这些问题的解决得进一步通过熟悉代码来实现，但是感觉
2020联合作战智能博弈挑战赛之（七）极速版
AlphaFinance
08-25 1410
2020年8月23日笔记 热身赛往后推了一周，27号之前都可以提交，也多给了我几天修改规则的机会。今天终于发现C盘不断被秘密塞满的文件位置了，它在一个隐藏目录下——C:\ProgramData\DockerDesktop。参考https://blog.csdn.net/u014462723/article/details/100808245可以解决。 ...
这三个博弈论新趋势，正深刻影响深度强化学习.md
12-01
目前，大多数 DRL 模型事实上还停留在传统的博弈论层面，例如**纳什均衡或零和游戏**等。但随着DRL的发展，传统博弈论方法已经逐渐呈现出不足之处，而同时则有一些新的博弈论方法被纳入到人工智能的程序当中。雷锋网公众号介绍三种深刻影响 DRL 的「新」博弈论方法：平均场博弈（Mean Field Games，MFG）；随机博弈（Stochastic games）；进化博弈（Evolutionary Games，EGT）。本文是对公众号介绍文章的消化再整理：标注按字者，加注标签；关键地方，有粗体和下划线。适合快速而较系统的了解博弈发展状况的读者。
2020联合作战智能博弈挑战赛之（十六）QMIX
AlphaFinance
10-08 589
2020年10月4日笔记 昨天花了不少时间来试图解决为什么无法在python的console中无法打印过程信息的问题，在看代码的过程中发现项目通过自定义的logger转移了输出，通过输出文件的方式可以不稳定地看到结果。凌晨起来趁着难得的安静时刻看代码才发现原来通过修改main.py中SETTINGS['CAPTURE_MODE']变量值即可修改输出模式。 运行两分钟后报错，根据报错的Traceback将sacred包版本从当前最新的0.8.1降到requirement.txt中的sacred==0.7.
2020联合作战智能博弈挑战赛之（二）探索
AlphaFinance
08-09 1283
2020年8月9日笔记 最近各种乱七八糟的事情实在太多了，三天半时间毫无进展。直到8月9日17点才能又看看竞赛方面的资料。要想改进智能体，要么制定更加好的规则，要么用机器学习的方法在自我博弈的过程中学习更好的模型。 需要注意的是，举办方提供的虚拟机仅限于选手熟悉开发环境或者开发规则智能体使用；如果是开发训练基于神经网络的智能体，因为要用到GPU资源，仍然需要选手在安装有Linux物理机/服务器上配置开发环境。 接下来就是读源码的过程，顺便增加一些注解，方便后续使用。 晚上偶然机会获得了一个星际争霸的
2020联合作战智能博弈挑战赛之（十四）初赛
AlphaFinance
09-26 360
2020年9月22日笔记 热身赛到初赛期间各种意想不到的事情突发，导致备赛时间大幅缩水，感觉到了心有余而力不足，昨日又是一刻钟的时间也没能抽得出来。好在这期间断断续续也略微改善了红方，赋予了蓝方一些战术。 为了能在初赛提交之前再稍微改进一下，早上六点不到只好起来继续争分夺秒一段时间。优化蓝方歼击机补位的判断效率。由于没有指派轰炸机进攻红方北部护卫舰的逻辑，暂时不指派轰炸机去北半区执行任务。 ...
2020联合作战智能博弈挑战赛之（十三）潜伏
AlphaFinance
09-20 317
2020年9月17日笔记 将对战框架更新到1.3.2以后，完善蓝方的_parse_obj函数，该函数主要用于提取、定位特定的己方目标。这才发现态势里面还有很多信息可以好好利用。继续优化蓝方飞机初始从机场飞出后的代码逻辑。 这个版本经常报出blue agent decision error的错误，这对代码的逻辑严谨性是一种挑战。 今天发现终于有人订阅了我的这个专栏，感觉好开心！感谢支持！ 2020年9月18日笔记 继续完善蓝方代码逻辑，优化蓝方歼击机西侧防御阵位。 发现在Step=n时执行了起飞区
2020联合作战智能博弈挑战赛之（十一）低效
AlphaFinance
09-07 987
2020年9月2日笔记 白天处理家事和不同人的负面情绪浪费了我太多时间。到了晚上带着疲倦和忧愁简单看了看程序，明早还要早起参加跑步，今天只有先收工了。
2020联合作战智能博弈挑战赛之（六）过拟合
AlphaFinance
08-23 505
2020年8月20日笔记 加深理解默认代码中智能体状态的作用。以红方为例，对于每一个继承了agent类的RedRuleAgent而言，self中的agent_state衡量的是红方阵营的总体运行阶段，而不是特指其中独立的武器平台。 仔细阅读了白皮书中有关轰炸机区域突击的内容。没有干扰机配合时，将轰炸机的投弹距离参数从80修改为70以后阵亡率大幅上升，会受到地防的严重威胁，设为80的时候也不太安全。 ...
2020联合作战智能博弈挑战赛之（十七）态势输入
AlphaFinance
10-14 376
2020年10月6日笔记 开始搭建多智能体运行框架。 定义智能体可用的行为空间 开始搭建地图配置框架。 定义MLFCMap类来区分不同的想定 下午碰到个难题，敌我双方的态势信息用二维矩阵怎么定义比较好，其中一个难点是无法将矩阵中的某一行和具体哪个武器平台进行关联。比如我将矩阵前十行全部固定为红方歼击机，那矩阵第一行到底对应红方机场中的哪架歼击机呢？ 2020年10月7日笔记 为了解决昨天下午遗留的问题，早上想了一种解决方案：在同一局比赛中，先根据智能体id将它们固定到矩阵固定行中，情报里没
2020联合作战智能博弈挑战赛之（一）环境搭建
AlphaFinance
08-05 1590
2020年8月5日笔记 第一次碰到这么好的比赛，终于有机会在这个领域和中国的各路高手来过两招，这种机会真是求之不得。并且能在这么酷炫的一个仿真平台上来设计、运行自己的智能体，还可以进行人机对战、多人较量，感觉太兴奋了！虽然接到比赛通知的时候有很多人已经准备了一个多月了，不过少努力一个月这种事情并不能成为我的心理障碍。之前从来没有用过ubuntu，然而这只是前进路上需要克服的一个障碍而已，做着做着感觉也不是不能上手。本文梳理了一些配置环境的经过： 1.需要注意的事项是在运行虚拟机之前需要在BIOS开启虚拟
中科大人工智能期末复习：搜索、强化学习与博弈论
这篇资料涵盖了中国科学技术大学高级人工智能课程的期末复习要点及19年春季学期的考试原题，涉及到的知识点广泛而深入，包括搜索算法、机器学习、逻辑推理、博弈论等多个关键领域。 1. 搜索空间与启发式搜索： - ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AlphaFinance

您的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值