1.硬件方面
- 各运动结构:四轮驱动、机械臂关节运动、摄像头云台运动,均已调试没有问题。(后附各部分调试的代码)。
- 传感器及组件:激光雷达(USB连接树莓派可实现动态测距)、MPU传感器(可以正常获取数据,待设置offset量)。
- 树莓派与电机驱动板通讯正常,树莓派与云台相机通讯正常,树莓派与激光雷达通讯正常,树莓派与机械臂Arduino通讯待测(想定采用串口通讯,主要负责机械臂和陀螺仪的通讯)
2.软件方面
- 利用YOLOv5n训练玩具模型,并且利用相机做简单的识别工作,精度还是相对较高的,而且v5n的轻量化使得识别的速度很快。(目前已经实现摄像头识别玩具后,小车可以旋转并朝向玩具,目前属于测试阶段,实现的办法有点蠢,后附训练图片和数据,及相关代码)。
- 树莓派利用PID控制算法,已实现四驱小车在直线运动上的精准控制,原地旋转问题需配合陀螺仪考虑如何解决。
- 机械臂的运动控制,需要学习机器人运动学,连杆运动学,涉及到比较多的线性代数知识,目前正常b站疯狂学习中。
- HomeAssistant 目前已经部署完成,可以实现米家和苹果生态的兼容,顺便把家里的大金的金制家中一起连了进来,效果还是不错的,后面需要研究一下如何DIY来控制小车启动和停止。
3.课题和待学习内容
序号 | 分类 | 待学习内容 | 优先级 | 当前基础 |
---|---|---|---|---|
1 | 基础知识类 | 机器人运动学(机械臂相关) | 高 | 0基础 |
2 | 基础知识类 | 复习线性代数(1中遇到困难的地方) | 中 | 不牢靠的基本知识 |
3 | 硬件类 | MPU陀螺仪的使用 | 高 | 0基础 |
4 | 硬件类 | 激光雷达的使用 | 高 | 0基础 |
5 | 硬件类 | 串口通讯,I2C通讯 | 高 | 非嵌入式专业,有一定难度 |
6 | 软件类相关 | Mixly | 低 | 感觉没有AdruinoIDE好用,不知道是不是因为mac版的不够友好 |
7 | 软件类相关 | 嵌入式 C语言 | 低 | 感觉语言类的还是相通的,主要是实现方法和算法,这个参考一些例程资料,可以见招拆招相对容易点。 |
8 | 软件类相关 | python | 低 | 重点就是opencv库,yolo模型,flask库,串口通讯,前三块学习成本不高,串口通讯这块python没有实际实现过,但是想定难度不高 |
4.相关源码
序号 | 内容 | 资源 |
---|---|---|
1 | tt编码电机+直流电机驱动板+树莓派 | 传送门 |
2 | 摄像头云台运动 | 传送门 |
3 | 激光雷达SDM18 | 编辑中 |
4 | MPU6050 | 编辑中 |
5 | yolo5训练玩具全过程 | 编辑中 |