MADDPG论文、项目学习记录

 

论文地址:Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
项目地址:OPENAI-MADDPG    文文大神的项目地址

学习链接:OpenAI-MADDPG 工程简单解析及个人想法    论文解读1  论文翻译

2020.3.15更新

总是有人问关于agent跑飞的问题,我采用的方法是设置边界,超出边界就reset。怎么知道边界和agent的位置?仔细看env的reset和step函数,看怎么初始化agent位置、返回的什么state。参考2020.2.24更新 的MADDPG的总结第五条

超出边界的代码:

 over=False
 for i in range(1000000):

        if over:
            o_n = env.reset()
        if i % 500 == 0:
            o_n = env.reset()
########其他#####
        o_n_next, r_n, d_n, i_n = env.step(a)
        over=False
        for agent_index in range(3):#共三个agent
            agent_state[agent_index]=[o_n_next[agent_index][2],o_n_next[agent_index][3]]
            if min(agent_state[agent_index])<-1 or max(agent_state[agent_index])>1:
                over=True####超出边界,下一次reset

2020.2.24更新

又跑了几遍文文的项目(之前为了训练快一点把迭代次数和replay_buffer都缩小了10倍,共迭代100000次),跑到几万次还reward总是0,agengt总是跑飞了。所以请教了师兄们,终于看到了还不错的结果。实验是论文中的第二种环境simple_tag,做了部分修改后跑到100000次左右就差不多三个红球会围堵一个绿球了,绿球是随机走的。

关于maddpg训练总结:

1、由于agent数量多,如果神经网络单元数太多,训练时间会成倍增加;(代码中是 64 64 2)

2、repaly_buffer尽量大,100000左右;

3、如果环境一直不能得到done的状态,尽量几百步就重新reset,要不然可能会陷在某个状态出不来。(意思就是每次episode不用跑太多step,否则只会增加训练时间。代码中设为500)

4、记得对action增加噪声,让它能够探索从而避免陷在区域;(代码中是0.15的rate)

5、原来的代码版本中没有对agents位置进行限制,导致我第一次训练到几万steps都是一reset就跑飞了。柳师兄说:要设置超过一定边界,就终止然后进入下一轮,不然你replay buffer里面的数据都是离中心点很远的数据,它很难调回来

受到点拨的我豁然开朗,研究env的返回,发现一个 observation 是:

np.concatenate([agent.state.p_vel] + [agent.state.p_pos] + entity_pos + other_pos + other_vel)


#agent.state.p_vel[,]是agent速度(方向?)
#agent.state.p_pos[,]是agent位置,并且初始化的时候在(-1,1)
#entity_pos是与landmark的相对坐标
#other_pos  vel  是其他agent位置、速度。

所以agent i的位置是 (obs[i][2],obs[i][3]),当超出(-1,1),就reset重新开始一次episode。

 

训练的前段数据 和 后段数据记录如下,reward是每隔1000steps的平均奖励:

 

train_step: 6000
reward: [0.22, 0.22, 0.22]
actor_loss: [-2.0437274  -2.87900758 -2.62259293] critic_loss: [0.12340749 2.8190968  0.12756361]
save

train_step: 7000
reward: [0.23, 0.23, 0.23]
actor_loss: [-5.05465889 -8.23776436 -6.32513809] critic_loss: [2.44336033 2.24487686 0.20890047]
save

train_step: 8000
reward: [0.26, 0.26, 0.26]
actor_loss: [ -8.11320496 -17.08517265 -10.99785805] critic_loss: [3.53545403 3.92680407 0.2669549 ]
save

train_step: 9000
reward: [0.29, 0.29, 0.29]
actor_loss: [-10.64159966 -22.43616486 -14.61209869] critic_loss: [2.56931496 0.45125425 3.35923815]
save

train_step: 10000
reward: [0.22, 0.22, 0.22]
actor_loss: [-12.94918251 -24.39775658 -16.53483963] critic_loss: [0.68266761 0.86924815 2.57032204]
save

......

train_step: 159000
reward: [0.43, 0.43, 0.43]
actor_loss: [ -981.07806396 -1000.43408203  -980.44219971] critic_loss: [11.12201786  8.88183784  8.74964428]
save

train_step: 160000
reward: [0.48, 0.48, 0.48]
actor_loss: [ -989.66674805 -1005.87414551  -985.21484375] critic_loss: [ 9.50117397  6.35181093 12.63538933]
save

train_step: 161000
reward: [0.56, 0.56, 0.56]
actor_loss: [ -996.3536377  -1017.53631592  -991.89099121] critic_loss: [ 7.29203272  4.2633419  10.44333839]
save

train_step: 162000
reward: [0.4, 0.4, 0.4]
actor_loss: [ -999.52947998 -1020.84686279 -1001.92944336] critic_loss: [ 4.85817528  2.6355114  10.08203697]
save

train_step: 163000
reward: [0.53, 0.53, 0.53]
actor_loss: [-1007.95214844 -1032.25512695 -1002.4465332 ] critic_loss: [7.88367748 8.31751442 8.78133297]
save

train_step: 164000
reward: [0.32, 0.32, 0.32]
actor_loss: [-1016.01757812 -1039.49230957 -1018.02307129] critic_loss: [10.90445518  2.56790113  8.94460678]
save

 

 

 

2020.2.23  更新

进程:跑了一遍文文大神的three_agent_maddpg项目,对算法有了进一步认识;

目标:修改这个代码,跑自己的环境:MADDPG学习记录--mapping

文文大神的项目介绍:探秘多智能体强化学习-MADDPG算法原理及简单实现  

但是跑了一晚上了,还没跑完-^-。

总结一下,maddpg与普通ddpg主要有两点不同:

1、训练的时候,是每个agent自己训练的,所以N个agent,应该有N*4个网络,分别对应 actor、actor_target、critic、critic_target,四个网络的作用及输出内容和普通ddpg一样,分别得到a、a'、Q、Q‘。其中,target网络是从当前网络每隔一段时间复制过来的。参考俩网络的初始化:

        def actor_network(name):
            with tf.variable_scope(name) as scope:
                x = state_input
                x = tf.layers.dense(x, 64)
                if self.layer_norm:
                    x = tc.layers.layer_norm(x, center=True, scale=True)
                x = tf.nn.relu(x)

                x = tf.layers.dense(x, 64)
                if self.layer_norm:
                    x = tc.layers.layer_norm(x, center=True, scale=True)
                x = tf.nn.relu(x)

                x = tf.layers.dense(x, self.nb_actions,
                                    kernel_initializer=tf.random_uniform_initializer(minval=-3e-3, maxval=3e-3))
                x = tf.nn.tanh(x)
            return x


        def critic_network(name, action_input, reuse=False):
            with tf.variable_scope(name) as scope:
                if reuse:
                    scope.reuse_variables()

                x = state_input
                x = tf.layers.dense(x, 64)
                if self.layer_norm:
                    x = tc.layers.layer_norm(x, center=True, scale=True)
                x = tf.nn.relu(x)

                x = tf.concat([x, action_input], axis=-1)
                x = tf.layers.dense(x, 64)
                if self.layer_norm:
                    x = tc.layers.layer_norm(x, center=True, scale=True)
                x = tf.nn.relu(x)

                x = tf.layers.dense(x, 1, kernel_initializer=tf.random_uniform_initializer(minval=-3e-3, maxval=3e-3))
            return x

2、actor的输入与普通ddpg一样是自己的state;critic的输入就不一样了,除了自己的state和action,还要别人的action。经验池中放了所有agent的s,s',action,reward,done,在train不同的网络时各取所需。参考俩网络的输入输出:

  self.action_output = actor_network(name + "actor")
  self.critic_output = critic_network(name + '_critic',
                 action_input=tf.concat([action_input, other_action_input], axis=1))

在本项目中,对每个agent的训练如下:

 项目的主要训练步骤和变量内容记录在下面,方便以后修改到自己的环境中:(( ⊙ o ⊙ )啊!我的字好丑呀)

 

 

2020.2.20 进程:搞明白算法流程,解决问题

 

1 为什么中心化训练就让环境变得稳定了?怎么解释环境稳定?

师兄的回答:在单智能体马尔科夫决策过程中的转移过程,从state采取action转移到state'是满足一个概率的,这个概率关系无论policy如何变化都不会影响。但是在多智能体环境中,其他智能体的policy改变了,会导致概率变化(因为其他智能体也成为了环境的一部分)。MADDPG中,通过对其他智能体策略的估计,相当于知道了其他智能体下一步动作,来缓解这件事。

2 为什么要对其他agent的策略进行近似预估?具体是如何实现的,能保证收敛嘛?

在没有通信的情况下,智能体互相之间不知道action,所以要预测。那如果可以进行通信,就不需要预测了是吗?

 

2020.2.18  进程:看了论文和工程介绍,明天理清算法流程

存在的疑问:

1 为什么中心化训练就让环境变得稳定了?怎么解释环境稳定?

2 为什么要对其他agent的策略进行近似预估?具体是如何实现的,能保证收敛嘛?

3 看了上面的论文解读1,有了新的问题:根据MADDPG论文和伪代码,观测状态用的是x表示,这个状态包含了自己和队友(或敌人)的所有信息。我的理解是:进入critic和actor的状态信息都是x。但是他文中的意思是,状态信息又分成s1...sn,自己的状态才进入自己的actor。

 

 

评论 64
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值