DeepWay v2 开源项目使用教程

DeepWay v2 开源项目使用教程

DeepWay.v2 Autonomous navigation for blind people 项目地址: https://gitcode.com/gh_mirrors/de/DeepWay.v2

1、项目介绍

DeepWay v2 是一个为盲人设计的自主导航系统，运行在 Nvidia Jetson Nano 边缘设备上。该项目通过触觉反馈（haptic feedback）向盲人提供信息，避免了使用耳机占用盲人已经发展良好的听觉。整个项目的成本低于 10000 印度卢比（约合 200 美元）。

DeepWay v2 是 DeepWay 项目的第二版，第一版基于 Keras，而第二版则采用了 PyTorch，以获得更多的控制和灵活性。项目的主要功能包括车道检测、行人检测和路径规划。

2、项目快速启动

硬件要求

• Nvidia Jetson Nano
• Arduino Nano
• 2 个伺服电机
• USB 音频适配器（因为 Jetson Nano 没有音频插孔）
• 以太网线
• 网络摄像头
• Jetson Nano 电源适配器
• 3D 打印机（可选）
• 笔记本电脑（推荐 Nvidia GPU）或任何云服务提供商

软件要求

• Ubuntu 16.04 或更高版本
• Anaconda
• PyTorch
• OpenCV
• 其他必要的 Python 库

安装步骤

1. 克隆项目仓库

   git clone https://github.com/satinder147/DeepWay.v2.git
   cd DeepWay.v2
   

2. 创建并激活 Conda 环境

   conda env create -f deepWay.yml
   conda activate deepWay
   

3. 配置硬件连接

   • 将 Arduino Nano 和 USB 音频适配器连接到 PC。
   • 根据系统更改 arduino.py 文件中的 COM 编号。

4. 运行系统

   • 编译并运行 Arduino Nano 代码。
   • 运行 blindrunner.py 脚本。

Jetson Nano 配置

1. 无头连接

   ifconfig
   nmap -sn <inet_address>/24
   ssh <machine_name>@<ip>
   

2. 安装依赖

   sudo apt-get update
   sudo apt-get install -y python3-pip python3-dev
   pip3 install -r requirements.txt
   

3、应用案例和最佳实践

应用案例

• 盲人导航：DeepWay v2 可以帮助盲人在复杂的环境中自主导航，通过触觉反馈提供实时信息。
• 辅助驾驶：虽然项目主要针对盲人，但其车道检测和行人检测功能也可以应用于辅助驾驶系统。

最佳实践

• 数据收集：使用视频转换为图像的方式收集数据集，确保数据集的多样性和覆盖面。
• 模型训练：使用 U-Net 模型进行道路分割，并结合其他模型进行车道检测和行人检测。
• 硬件优化：在 Jetson Nano 上运行时，使用 TensorRT 优化模型以提高性能。

4、典型生态项目

• LabelBox：用于生成图像的二进制掩码，帮助创建训练数据集。
• PyTorch：项目的主要深度学习框架，提供了灵活的模型训练和部署能力。
• OpenCV：用于图像处理和计算机视觉任务。
• Arduino：用于控制伺服电机和接收 Jetson Nano 的信号。

通过这些模块的介绍和快速启动指南，用户可以快速上手并应用 DeepWay v2 项目。

DeepWay.v2 Autonomous navigation for blind people 项目地址: https://gitcode.com/gh_mirrors/de/DeepWay.v2