Unity 2023.2 或 更高版本

1.安装 

1.强烈建议您通过 Unity Hub 安装 Unity

2.本地安装

您可以将本地包（从刚刚克隆的存储库中）添加到您的 项目由：com.unity.ml-agents

1. 导航到菜单 -> 。WindowPackage Manager
2. 在包管理器窗口中，单击包列表左上角的按钮）。+
3. 选择Add package from disk...
4. 导航到文件夹。com.unity.ml-agents
5. 选择文件。package.json

 

3.点击3Dball import。。。。

2.训练

训练环境

1. 打开命令或终端窗口。（激活虚拟环境 导航cd到源代码的目录下 ）
2. 导航到克隆存储库的文件夹。注意： 如果您遵循默认安装，那么您应该 能够从任何目录运行。ml-agents mlagents-learn
3. 直接运行 跑。mlagents-learn config/ppo/3DBall.yaml --run-id=first3DBallRun
4. config/ppo/3DBall.yaml是默认训练的路径 我们提供的配置文件。该文件夹包含训练配置 文件，用于我们所有的示例环境，包括 3DBall。config/ppo
5. run-id是此培训课程的唯一名称。
6. 当消息“按 Unity 中的播放按钮开始训练 编辑器“显示在屏幕上，您可以按 播放 按钮 Unity 在编辑器中开始训练。

当播放时有问题 可以点击打开vsstudio生成解决方案

Couldn't connect to trainer on port 5004 using API version 1.5.0. Will perform inference instead.
UnityEngine.Debug:Log (object)

Couldn't connect to trainer on port 5004 using API version 1.5.0. Will perform inference instead.
UnityEngine.Debug:Log (object)
Unity.MLAgents.Academy:InitializeEnvironment () (at D:/intelligent_grasp/ml-agents-develop/com.unity.ml-agents/Runtime/Academy.cs:478)
Unity.MLAgents.Academy:LazyInitialize () (at D:/intelligent_grasp/ml-agents-develop/com.unity.ml-agents/Runtime/Academy.cs:292)
Unity.MLAgents.Academy:.ctor () (at D:/intelligent_grasp/ml-agents-develop/com.unity.ml-agents/Runtime/Academy.cs:261)
Unity.MLAgents.Academy/<>c:<.cctor>b__86_0 () (at D:/intelligent_grasp/ml-agents-develop/com.unity.ml-agents/Runtime/Academy.cs:117)
System.Lazy`1<Unity.MLAgents.Academy>:get_Value ()
Unity.MLAgents.Academy:get_Instance () (at D:/intelligent_grasp/ml-agents-develop/com.unity.ml-agents/Runtime/Academy.cs:132)
Unity.MLAgents.Agent:LazyInitialize () (at D:/intelligent_grasp/ml-agents-develop/com.unity.ml-agents/Runtime/Agent.cs:485)
Unity.MLAgents.Agent:OnEnable () (at D:/intelligent_grasp/ml-agents-develop/com.unity.ml-agents/Runtime/Agent.cs:399)
 

如果您已提前退出训练并想恢复训练， 再次运行相同的命令，并附加以下标志：Ctrl+C--resume

mlagents-learn config/ppo/3DBall.yaml --run-id=first3DBallRun --resume

3.训练过程

的的命令行运行步骤

(mlagents) D:\intelligent_grasp\ml-agents-develop>mlagents-learn config/ppo/3DBall.yaml --run-id=second3DBallRun

结果存放于

[INFO] Exported results\second3DBallRun\3DBall\3DBall-500304.onnx
[INFO] Copied results\second3DBallRun\3DBall\3DBall-500304.onnx to results\second3DBallRun\3DBall.onnx. 

如果你更喜欢使用命令行工具，你可以使用 cd 命令切换到你的项目目录，然后输入以下命令：bash

复制代码

cd results\second3DBallRun\3DBall

4.注意事项 

注意下载develop版本的ml-agents可以避免numpy（wheel）问题

Unity-Technologies/ml-agents: The Unity Machine Learning Agents Toolkit (ML-Agents) is an open-source project that enables games and simulations to serve as environments for training intelligent agents using deep reinforcement learning and imitation learning. (github.com)

简化版的下载ml-agents python环境

1.   conda create -n mlagents python=3.10.12 && conda activate mlagents

（1）先装python

在系统中安装 conda 后，打开终端并执行以下命令以设置 python 3.10.12 虚拟环境 并激活它。

conda create -n mlagents python=3.10.12 && conda activate mlagents

（2）再装pytorch 

安装 PyTorch

在 Windows 上，必须先单独安装 PyTorch 包，然后才能安装 安装 ML-Agents 以确保使用启用了 cuda 的版本， 而不是仅 CPU 版本。激活您的虚拟环境并从 命令行：

pip3 install torch~=2.2.1 --index-url https://download.pytorch.org/whl/cu121

import torch

# 检查 PyTorch 版本
print("PyTorch version:", torch.__version__)

# 检查是否支持 GPU
if torch.cuda.is_available():
    print("CUDA is available. GPU is supported.")
    print("Number of GPUs available:", torch.cuda.device_count())
    print("Current GPU device:", torch.cuda.current_device())
    print("Current GPU device name:", torch.cuda.get_device_name(torch.cuda.current_device()))
else:
    print("CUDA is not available. GPU is not supported.")
 

检查 CUDA 版本：

bash

复制代码

nvcc --version

 2.从本地安装

安装mlagents

要安装 Python 包，请激活虚拟环境并 从命令行运行：mlagents

cd /path/to/ml-agents #这个是需要cd到下载的ml-agents源代码的路径下(前提是激活了python虚拟环境
python -m pip install ./ml-agents-envs
python -m pip install ./ml-agents

请注意，这将从克隆的存储库安装，而不是从 PyPi 安装 存储 库。如果安装正确，则应该能够运行 ，之后您将看到以下命令 可以与 .mlagents  mlagents-learn --help  mlagents-learn

经过多次尝试 最简单的办法就是：两步骤（这个是develop ml-agents版本的）

1. python环境

conda create -n mlagents python=3.10.12 && conda activate mlagents

2.本地安装

(base) C:\Windows\System32>conda activate mlagents

(mlagents) C:\Windows\System32>D:

(mlagents) D:\>cd D:\intelligent_grasp\ml-agents-develop

(mlagents) D:\intelligent_grasp\ml-agents-develop>python -m pip install ./ml-agents-envs

(mlagents) D:\intelligent_grasp\ml-agents-develop>python -m pip install ./ml-agents

#结果
Successfully built mlagents
Installing collected packages: tbb, mpmath, intel-openmp, urllib3, typing-extensions, sympy, packaging, onnx, networkx, mkl, jinja2, idna, fsspec, colorama, charset-normalizer, certifi, tqdm, torch, requests, huggingface_hub, mlagents
Successfully installed certifi-2024.2.2 charset-normalizer-3.3.2 colorama-0.4.6 fsspec-2024.5.0 huggingface_hub-0.23.2 idna-3.7 intel-openmp-2021.4.0 jinja2-3.1.4 mkl-2021.4.0 mlagents-1.1.0.dev0 mpmath-1.3.0 networkx-3.3 onnx-1.15.0 packaging-24.0 requests-2.32.3 sympy-1.12.1 tbb-2021.12.0 torch-2.3.0 tqdm-4.66.4 typing-extensions-4.12.0 urllib3-2.2.1

(mlagents) D:\intelligent_grasp\ml-agents-develop>