强化学习奖励设计及debug

奖励应该分为正奖励和负奖励，依靠正负奖励的平衡来调节机器人的探索和稳定，正奖励过多则策略偏向于存活以获得更多奖励，会削弱可能导致失败的探索；负奖励过多则会导致训练过早终止，机器人自杀以防止继续扣分。最好的情况一般是正奖励为负奖励的两倍左右。

正奖励一般是命令式，比如使其对方向和速度命令的跟踪。使用exp函数进行包络，

形如：

其中c1和c2是两个常数，决定了这个函数的最大值（c1）和最小值（c2），x是所求奖励对应的观察值，平方也可以用绝对值、一范数和二范数代替，保证它为正即可。c1和c2的选取需要保证奖励函数对观察值的变化敏感，当观察值发生变化时，奖励函数需要能感受到明显的变化。

负奖励也称作惩罚，一般是限制式，比如对抬腿高度、关节位置、关节速度的限制。形如-|x|

代码生成debug报告，将需要最终观察的变量放入Excel表格中，并存储在eperiments-"name"-debug中，可以打开表格进行数据分析。

如果某项奖励远远没有达到它能达到的最大值，可能是由于c1值太小，容易被忽视。同理，如果某些奖励比其他正常奖励小很多，说明它们的绝对值太小，有它没它差不多，需要增大。