毕设记录路

2022.2.20~2022.2.26
尝试用mujoco-py操纵mujoco
mujoco-py后面的版本不支持windows
在windows建立linux的环境Ubuntu
为了可视化mujoco，使用Ubuntu+XLanuch实现图形化界面
因为要装大量的包，尝试使用virtualenv，但是创建出来的环境无法可视化mujoco，放弃virtualenv

尝试用强化学习工具包的算法解决Ant-v2
用天授的一个算法解决Ant-v2
天授不行
报错：ValueError: numpy.ndarray size changed, may indicate binary incompatibility. Expected 96 from C header, got 88 from PyObject
问题解决需要更新numpy
但天授用到了Numba。Numba只支持低版本numpy。
Numba is compatible with Python 3.7–3.10, and Numpy versions 1.18 up to 1.21.
放弃天授

2022.2.27
pybullet在windows下也可以用，准备使用pybullet

在建立卫星模型之前，需要在pybullet找一个姿态控制的例子，用于测试baseline等工具包中的强化学习算法
准备使用pybullet中minitaur的例子
回顾gym，文档：https://blog.paperspace.com/getting-started-with-openai-gym/
Openai baselines 需要mujoco-py，windows下不能用
使用chainerrl
阅读chainerrl文档，学习怎么和minitaur结合
只是用一个算法训练模型是可以做到的，但完全不知其所以然，不理解算法和代码的含义，完全没有意义。所以准备先学习算法，每学完一个算法，然后再去实践，和模型结合。

2022.3.9
模型——模型的环境——任务——算法
Pybullet——
看了看学长的包，把路径改好试了试
上午把知乎pybullet看完
先不了解怎么创建环境，用已有的立方体模型，先学习怎么训练模型

Vscode终端改颜色、高亮提示 失败
Pybullet代码提示在vscode不可以，在pycharm可以

Pybullet ffmpeg录屏失败，
错误提示：
height not divisible by 2 (1024x701)
Error initializing output stream 0:0 – Error while opening encoder for output stream #0:0 - maybe incorrect parameters such as bit_rate, rate, width or height

回顾下之前看的强化学习的东西：（之后用适用于连续空间的DQN来训练立方体）
蒙特卡罗(MC) 回合更新价值迭代的一种方法 增量均值 增量更新
TD 时序差分