强化学习 mujoco mujoco_py gym开篇1，环境配置，2021年11月24开始学习，特开帖记录

**

首先就是配置环境，

**
不建议在windows下使用强化学习，也不建议使用虚拟机跑上述这些包，因为虚拟机很难调用GPU。会影响后期使用，在windows挣扎很久后决定还Linux。
最好使用linux系统进行处理
当前环境为windows10+ubuntu20.04双系统
使用的mujoco为210版本，好在openai刚收购了mujoco，可以免费使用，暂时没有使用mujoco150版本。

博主所用笔记本有Intel的RST驱动，和ubuntu20.04冲突，但是该方法可以解决，网上天花乱坠的方法有很多，但是靠谱的很少：

(原链接: discourse.ubuntu.com/t/intel-rst-issues/20664/24)

1. win10下以管理员身份运行命令行终端，然后输入msconfig，选择引导，引导选项，安全引导，打上勾并保存设置
2. 重启电脑进入BIOS系统, 将硬盘驱动从RST改为AHCI（在SATA硬盘控制那里，将RAID改为AHCI），然后保存设置，保存时会有警告，我直接忽略，最后windows依旧正常。
3. 这个时候重启即可，win10会进入安全模式，继续按照第1步操作，只不过这次将安全引导去掉，然后保存
4. 重启进入win10，到这一步就能够以使用AHCI的条件下正常运行win10了.

注意:
到此还没有开始安装ubuntu系统，仅仅将intel 的RST设置成和ubuntu不冲突，然后重开机进入U盘启动界面，安装ubuntu系统即可成功。注意，需要预先给磁盘划定好分区。

至此仅将双系统配置完成

下来需要设定环境，这里博主亲测有效，直接从mujoco官网上下载210版本，或者当前最新版本的mujoco，然后在ubuntu的主目录下建立.mujoco文件夹，将下载到的mujoco210文件夹放置到.mujoco文件中。

此时文件的顺序如下：
./mujoco/mujoco210/bin
然后可参考./mujoco官网的安装过程，安装时会出现很多报错，逐个解决即可，一般都是缺乏以来的报，如果是新的ubuntu系统，一定现安装很多基础依赖包，一般来说遇见什么报错，搜索解决即可成功安装后既可以调用./mujoco中的代码。

一般安装mujoco不会与到什么问题，安装mujoco_py会遇到一堆报错，但好在能遇到的报错CSDN上均有解决办法，多搜索下即可，大部分都是依赖项的问题

一般来说，如果运行

import mujoco_py

没有报错，即说明安装成功

然后就可以小时牛刀，看下用起来大概是什么样子的

import mujoco_py
import os

mj_path = mujoco_py.utils.discover_mujoco()
xml_path = os.path.join(mj_path, 'model', 'arm26.xml')

model = mujoco_py.load_model_from_path(xml_path)

sim = mujoco_py.MjSim(model)
viewer = mujoco_py.MjViewer(sim)
sim_state = sim.get_state()

while True:
    sim.set_state(sim_state)

    for i in range(1000):
        if i < 2:
            sim.data.ctrl[:] = 0.0
        else:
            sim.data.ctrl[:] = -1.0
        sim.step()
        viewer.render()

    if os.getenv('TESTING') is not None:
        break

如果使用的pycharm，即使在./bashrc中增加了环境变量，每次运行还是会报错，如下：

Missing path to your environment variable.  
Current values LD_LIBRARY_PATH= 
Please add following line to .bashrc: 
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/root/.mujoco/mujoco200/bin

方法1：
每次调用os后需要增加下列过程，注意那个路径需要与自身路径一致。

import os
os.environ['LD_LIBRARY_PATH']='$LD_LIBRARY_PATH:/root/.mujoco/mujoco200/bin'

方法2
在pycharm编译器下安装环境路径，因为pycharm感觉和自带的python是独立的，点击最上方的RUN菜单栏，在菜单栏 -> Run -> Edit Configurations -> Environment Variables 添加上相应的环境变量。
名字：LD_LIBRARY_PATH
值：$LD_LIBRARY_PATH:/root/.mujoco/mujoco210/bin
然后就可以直接调用了。注意上路径根据实际情况修改。

这就说明调用成功，目前为止进度就到这里，也算一个良好的开端吧。

还没有尝试，在此基础上再次安装gym，有地方说gym只能调用mujoco150，还没有开始看，应该使用mujoco210也可以的。