OpenAI gym - CartPole

很神奇的是使用简单的控制策略就可以达到特别好的效果

这次记录的是使用模拟退火Simulated Annealing 算法，这与前阶段使用强化神经网络的算法截然不同，算法简单效果意想不到。

这个算法是借鉴了http://blog.csdn.net/songrotek/article/details/51307980，由于openai gym的网站上代码下载打不开，所以就自己重现了一遍。

思路：

对于CartPole倒立摆，其控制输出 A 很简单，就是向左或者向右。输入 O 就是车的位置，速度，杆的角度，角速度。

为了应用SA，首先需要构造一个从输入到输出的映射:

A=f(O)

那么这里显然我们可以使用最简单的映射，就是线性映射： 

A=wO

w  即为参数向量。模拟退火就来改这些参数，从而得到一个新的“点”。

再下来的问题就是如何判断w好坏了，想法也很简单，每次运行一次episode即一次实验，累加计算得到的reward值，用Score得分表示，代表这个参数效果更好。

具体流程：

1，初始化weight ，weight_best, change_alpha,score。分别代表权重，最优的权重，每次调整的随机系数，每回合的得分

2，for episode:

  weight= weight_best

环境重置，obs=env.reset()

score=0

weight+=change_alpha*随机数（4维）

while True:

环境渲染

计算action  np.sum(np.mutiply(weight,obs)

action截断为左右两个值，简单的 if >0 1 esle 0

  仿真一步，得到环境变量 obs_,reward,done,info = env.step(action)

累加reward ,score+=reward

if done:

判断当前回合得分是否比以前好，如果好更新weight_best,同时change_alpha减小*=0.5

否则，change_alpha增大*=2

obs=obs_

结论：

每次得到比较好的效果随机性很大，最快10个回合就得到最优，有时候要3，4十个回合，而且每次的weight相差很大，但都能比较快的收敛

具体代码：https://github.com/billchent/RL_exercie/blob/master/SA_CartPole