2020.10.31组会汇报

情况如下
精度文献3篇
1、基于深度强化学习的四足机器人运动控制发展现状与展望
2、智能巡检机器人的现状与发展趋势
3、基于近端策略优化算法的四足机器人步态控制研究

1. 深度强化学习

深度学习方法与传统强化学习方法 ( reinforcelearning ，ＲL ) 中的 Q 学习方法相结合提出了深度Q网络。
DQN 训练过程中，采用了经验回放机制，通过与环境交互获得存储记忆，在通过深度卷积网络近似当前动作值函数Q 的同时，采用一个结构相同的网络保存 N 个时间步之前的动作值函数 Q 的参数，称为目标 Q 网络
创新点的提出：基于值函数的深度强化学习方法与基于策略梯度的深度强化学习相结合的演员评论家( actor-critic，AC ) 算法，则可以发挥两者的优势，既可以汲取策略梯度的高效学习与适应连续动作空间的优点，又可以兼具基于值函数的方法高效稳定的特点 并应用于四足机器人的运动控制。

2. 巡检机器人的现状与发展趋势

提出当前巡检机器人的不足
提出功能上人机交互效果不佳
外形设计影响操作运行和机器人功能分布
审美上缺少美观性和视觉舒适度
人机交互不理想
不能满足市场的个性化需求
最后提出设计发展趋势
1、造型功能优化
2、色彩审美优化
3、关键技术优化

3.近端策略优化算法的四足机器人步态控制研究

研究难点：足式机器人步态控制
采用应用强化学习让机器人自主学习策略
创新点：将近端策略优化算法用于四足机器人步态控制，并与其他深度强化学习算法进行了对比分析． 仿真实验结果表明，近端策略优化算法在实际应用中具有更好的训练效果