Ubuntu16.04 ROS 深度学习_智能机器人软件工程师学习路线

6c743139db9e55e990442f3678b6924b.png

智能机器人软件工程师学习计划0 引言

很多朋友对机器人软件开发和人工智能感兴趣,不知道怎么学习, 在这里我把学习曲线给大家介绍一下,希望对大家有所帮助!

1 python基础

不管有没有编程基础的童鞋, 我都推荐大家先去学Python ,Python像一把瑞士军刀, 你可以用他干很多东西,比如自动回复邮件、自动收集信息。 

 Python又非常简单容易理解。 只要把解决问题得过程想明白,很容易就能转化成对应的代码。

只需要4天我们就能掌握,  python基础,算数运算符,变量, 输出和输入,条件语句,循环,元组,字典等知识点,熟悉常用的控件, 文本标签,编辑框,按钮,布局,信号,槽等技术。 

很多学员是零基础的 ,学习 python 第一周,可以做出来简单的学生管理系统,火车票查询系统。

9ba58546854a58cfb24be09a5f134ad8.gif

6d318f52bc683e89deaad83256e51c52.png

2 面向对象

python是一门面向对象的语音,面向对象是重要的编程思想,接下来我们通过坦克大战这种经典的游戏来让大家掌握面向对象的思想。

看看第二周,大家的成果吧。  

45caebbd9c7c359fe9f50dfa0f9dd0c1.gif

3 高等数学

线性代数的重要性需要特别强调。一般来说,优秀的工程师和科学家在职业生涯中一定要掌握高等数学,线性代数,梳理统计矩阵的乘法、向量的乘法、向量的内积、变化率的求导、概率论和极限。要想掌握机器视觉和人工智能, 成为年薪30万以上的工程师, 懂高等数学和线性代数,这是必备基础。

看看第三周,大家的成果。

综合运用矩阵运算,反向传导,梯度下降,实现小车的自动驾驶, 这是深入理解人工智能课程的基石。

5b648e26bed7cc5049052a50be9e735a.png

5bb7ba99cfa55344c6c96d285a42b944.gif

4 网络编程和多线程

网络技术是机器人工程师必备的技能,多线程也是能最大发挥程序效率的必备技能,掌握udp,tcp和socket这是编写通讯模块的重要基础, 后面我们编写工业3d相机和机械臂驱动,都需要基于socket进行编程。

看看第四周,大家的成果

我们从高级课程开始,采用纯ubuntu系统上课, 利用多线程和socket和qt计算,我们自己实现了局域网内的屏幕广播软件,实现了讲师屏幕共享个每个学生。上课用的屏幕共享软件,就是我们自己开发的!

d817f44572a7274c3d370cbe766dfe41.png

5 HTML和爬虫

HTML和Javascript也是机器人工程师必备的技术,而不只是软件工程师的玩具。web技术实际上已经渗透到了编程的方方面面,另外大量网络上的数据我们需要能够抓取下来,做数据分析,为机器学习,数据挖掘打下坚实的基础。

第五周,大家的成果!

f2e3ef5823c675296753b1aabb0dda26.gif

6 数据清洗和挖掘

数据库是重要的数据存储和查询工具,机器学习,人工智能都需要跟大量的数据打交道, 如何优雅的管理和处理数据是我们需要掌握的内容, 我们讲解常用的mysql数据库和嵌入式领域非常流行的sqlite数据库

第六周: 学生掌握  数据库概述 客户端使用 数据库操作 表结构的创建和修改 表数据的增删改查

where,order,group,分页,连接查询,外键,视图,事务, 索引 等数据操作技术。

905094188fbd598abc68fa78db8186fa.gif

----- 32479c5380e565aa9ae2f477494ab537.png-----

到这里

你已经成长成为

一个初出茅庐的新兵

可以准备进入

智能机器人软件工程师

开发的大门了

15931e4028c08bc272b27a96af6617c0.png

机器人领域四大问题
  1. 感知。视觉传感器、图像传感器、激光雷达、各种传感器技术。

  2. 规划。人工智能、知识表达、路径规划、任务调度、机器学习等。

  3. 行动。运动学、动力学、开环控制,闭环控制、pid控制等。

  4. 数学基础。最优估计、微分几何、概率论等。

e52e1a54f5509f3a86ea41a323a7d6de.png

7 Linux

IT行业的程序员都会争论高级语言和低级语言哪个好,Linux和Windows哪个好,而对于机器人工程师来说,我们是工程师,语言和操作系统都是工具, 哪个工具最顺手,我们就要优先学习哪个工具。从现在到可预见的未来里,Linux是机器人软件工程师最好的操作系统。原因是机器人操作系统ROS是基于Ubuntu开发的,在Ubuntu上运行最稳定。虽然window10 投入巨资打算支持ros, 但是目前来讲ubuntu是我们最好的选择。

我们的课程从c++开始全面切入ubuntu操作系统实验和授课。

第七周:

学生掌握装ubuntu操作系统,掌握shell脚本编程,双系统安装方法,自主解决各种显卡,网卡驱动,Linux内核问题。

b03a2075d62246a55c0308cb92e6646e.gif

8c++实战编程

python我们说是瑞士军刀,但是真要去造机器人,合适的工具并不是瑞士军刀,而是C/C++这样简单粗暴的锤子和螺丝刀般的工具。

工具最重要的是如何去使用, 我们用大量的案例,来教大家,带大家去使用工具。我们课程类比讲解python和c++的异同点, 短期内让大家掌握,clion开发环境,变量和常量,数组和Vectors,操作符和流程控制,字符和字符串处理 函数,Characters and Strings,Functions,指针和引用,OOP -面向对象,操作符重载,继承,封装,智能指针,异常处理,IO和流 ,boost,STL模版技术等c++核心技能。

第八,九周:

c++和python融会贯通,学生可以自己编译c++工程为库文件,用python去调用c++代码。python写业务逻辑简洁明了,c++做核心算法,整洁高效。

9 cmake和makefile实战

c语言和c++语言从诞生到现在已经有几十年了, 很多前辈程序员写出了大量经典的框架和工具集, 学习编译工具理解Github存在的意义, 让前辈的代码融入到我们的工程中。

第九周: 学生能自主编译opencv, FFmpeg, pointcloud等经典c++项目, 并引入到自己工程中。

c08364887444ef27906a3a02a7981ced.gif

10机器人操作系统

ROS( Robot Operating System,机器人操作系统)诞生于2007年,并很快在机器人研究领域掀起了ROS开发与应用的热潮,目前已经成为机器人领域的网红

谷歌、亚马逊、微软等众多知名公司已经广泛使用ROS系统,熟练掌握ROS操作系统,已经成为机器人开发的重要要求, 猎聘网上搜索ROS关键字, 大多数岗位起步月薪到达到1.5~2万元。

ROS在消费级领域应用比较多,但是在条件苛刻的工业级场景里面较少使用,CobotSys 库柏特操作系统是国内领先的工业机器人操作系统,相比ROS更适合解决工业领域的实际问题,CobotSys是有大规模工业场景落地的操作系统,通过实战学习工业场景机器人的落地。

78214cfa6b09b050c1c5d8487fbb3d13.png

第十周:

熟练使用pid原理, 联合使用c++和Python语言,完成扫地机器人的开发。

c2c71635be7b4fd31a93b025a57bc622.gif

11 机器人学 & CobotSys仿真

多自由度的机械臂的难点在于机械臂的运动学正反解、运动学控制和动力学控制,是一个建模分析和数值算法实现的问题。六关节机械臂工作原理,机器人坐标系,坐标变换与旋转矩阵,欧拉角四元数,机器人的DH表达,机器人关节空间与笛卡尔空间转换,机器人的正解和反解,这些都是属于机器人学的最基本的问题。我们花一周的时间为大家讲解,cobotStudio是机器人仿真模拟的利器。

第十一周效果:

35d2762f732df693dfaef278ca7c529d.png

e3aee9ae5df8e0667c47b2d15fade95f.gif

dc716dc086b330917eb3a5a8a18bcbbd.png

12 相机成像和驱动

相机是机器人的眼睛,我们要学习不同相机的成像原理,不同光源对成像的影响,结构光相机,双目相机和普通rgb相机的使用场景,相机下位机程序的编写,相机驱动的编写等内容。

第十二周效果:

相机测距仪

9178eb7bdd2660813ee50811ddc660e9.png

12机器视觉OpenCV

视觉是人类最为重要的感觉。要赋予机器人智能,第一步就是给机器人赋予视觉,随着科学技术和计算机计算的不断发展,主要解决视觉问题的图像处理系统得到了长足的发展,涌现出许多优秀的框架,OpenCV是其中的代表。这一周课程学习图像卷积模糊、边缘梯度计算,一阶导数算子与二阶导数算子的运算,自定义滤波、高斯与椒盐噪声图像生成与图像去噪声增强,掌握直方图对比与反向投影技术,模板匹配等技术

第十三周学习效果:

自动驾驶,车道线识别。

b458695975e93cb33b8e3a7fc8d070a0.png

a8df3227e2241a64a1f084f760fb576f.gif

133D视觉

2d的照片丢失了一个维度的数据,在某些特殊应用场景下,不能满足开发的需求,我们要引入3d的相机来进行更准确的识别,3d相机使用的技术包含,点云模型,pcl,点云数据的读取保存和可视化,点云的拼接,点云的矩阵变化,点云滤波,直通滤波,平面滤波,点云条件去除与轮廓去除,上采样和下采样,点云对齐,分割,拟合,2d与3d配置,传感器融合等。

第十四周学习效果:

3c0a9603e3d7c1d349f7fa41fc2e6131.png

14深度学习实战

深度学习是目前很火的技术,但是大多数教程都是偏理论部分的,学完很难应用到真实的业务场景里面,我们采用目前最主流的深度学习框架(pytorch),讲解深度学习和卷积神经网络, 深度学习做重要的是组织数据集,评估模型和改善模型,这几块内容会作为我们课程的重点内容讲解。

第十五周学习效果:

生活垃圾分类,交通标志识别,人类表情感情识别等。

a77b6fc548e22794d5d6025a08ee7291.gif

15SLAM

SLAM是Simultaneous localization and mapping缩写,意为“同步定位与建图”,主要用于解决机器人在未知环境运动时的定位与地图构建问题,我们课程会讲解slam算法原理,坐标变换与实时构图的过程,最终利用生成好的地图文件,完成AGV小车或者扫地机器人的自主导航

第十五周学习效果:

05a5beb8b2e445cb9b1afd5215984adc.png

16综合项目实战-机器人写字

项目简介

人手写数字,通过机器视觉识别数字的图像,让机器人模仿写出对应的数字。

项目特色

1、准备数据集

2、深度学习训练数据集

3、机器视觉获取图像和图像处理

4、识别数字,根据轮廓生成机器人运动轨迹,控制机器人写出数字

50d1846e3c55a717b869f8d578624497.gif

17综合项目实战-机器人无序分拣

项目简介

在料框中,随机放置着若干相同类型的盒子,机器人需要逐个拾取盒子,并将盒子按照指定要求,重新摆放。

项目特色

1、2D图像处理

2、机器视觉和机器人学的综合应用

3、3D点云处理

4、基于深度学习的物体分类与检测

5、运动规划

6、RCNN;Mask RCNN;多目标检测

7、视觉定位

5d2c350ba6d273330c6b9fe909657664.png

18综合项目实战-机器人跟随

项目简介

机器人识别跟随嫌疑人,自主导航避障,跟随嫌疑人。

项目特色

1、深度学习工具包使用 

2、数据集采集 

3、数据集分析 

4、小车控制等。

c9507bea60f4fa93cb3a9cbf04010712.png

935e325fcdbb807d48407021dc35c18c.gif

推荐阅读

(点击标题可跳转阅读)

最详细、最完整的相机标定讲解

深度学习+机器视觉=下一代检测

视觉检测系统最经典的结构你了解吗?

机器视觉技术的十大应用领域

工业相机和普通相机究竟有什么不同?

基于机器视觉和深度学习的智能缺陷检测

波士顿等移动机器人的视觉算法解析

2020年37个人工智能技术发展趋势

机器视觉的光源选型及打光方案分析

光学三维测量技术及应用

国内80%搞机器视觉的工程师,走的路子是错的!

视觉+机器人,如何实现连接器的自动装配?

机器视觉技术发展的五大趋势

搞懂机器视觉基本内容,这份PPT就够了

机器视觉:PC式视觉系统与嵌入式视觉系统区别  

基于HALCON的机器视觉开发,C++或C#如何选择? 

3D视觉技术在机器人抓取作业中的应用实例

基于机器视觉的粗糙度检测方案

机器视觉常用图像软件对比及分析

工业相机编程流程及SDK接口使用汇总

57cb0b54cefb5139be43dd8a4895794c.gif End 57cb0b54cefb5139be43dd8a4895794c.gif

商务合作:QQ:1504328545

声明:部分内容来源于网络,仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥,请联系删除。

更多是视觉资讯尽在“新机器视觉”微信公众号~

ed36c9637069f13192a0823d2e23d70c.png

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值