背景：2024年6月5日上午，中国科学院沈阳自动化研究所机器人学国家重点实验室邀请英国约克大学机器人辅助生活实验室负责人朱吉鸿博士做seminar，笔者会后向朱教授请教了几个问题，本文用来记录这个几个问题。
Q1: 老师好，您提到视觉信息可以提供全局的信息，触觉信息可以提供局部的信息，那么请问，这两者是否可以融合，形成1+1>2的效果呢？
A1：是的，是可以的。这个接触的局部信息其实如果你可以感知力，和一个物理模型进行。之前我们有个工作对与线状的物体，如果存在遮挡怎么建模，我们做的就是首先用视觉模型再加上力的信息进行补充。我认为他俩最有机的结合就是如果你有触觉信号，你可以在物理模型的基础上补充末端的力，在有遮挡的情况下，可以更好地把物体还原出来。因为我没有在做触觉的东西，但我自己买了8个触觉传感器，我觉得这是很好的方向，难点在于怎么结合，怎么去用。
Q2: 老师您刚刚提到机器人铺平衣服的，您分了很多向量场，我想问一下这个是不是分了很多块，如果分了很多块，那么请问这个分的块数和最终的效果有什么联系吗？如果我分了两块，可能它识别不到，如果我分了一亿块，它的效果又不好了？
A2: 是的，这是有个很好的问题。其实确实这个分块数量是对整体效果有影响的，最简单你把它当成一块，那么你只能预测一个向量。因为这是一个硕士的毕业论文，他没有太多时间，我们当时人为地分了一个我们认为合适的数量。你说的这个非常非常对，实际上在做的过程更好地是自动地分割它。
（这个问题应该在问下如果您来研究这个问题您会有什么思路的）
Q3: 现在来看大模型是比较火的，你怎么看待大模型对机器人研究的影响？
A4: 这是一个很好的问题。我的观点是大模型可以做一些比较上层的类似于planning的工作，这是我的想法，我认为大模型去规划一个步骤，你给机器人说做什么事情，大模型可以帮你分为更小对的步骤，但是每个小步骤还是需要一些底层的算法来执行的，这个执行端来完成。把一个大任务分为小任务大模型是很擅长的，但是我认为小任务还是需要机器人实际的算法的。我认知它不能解决所有的问题。
Q4: 老师您要让机器人实现多任务操作，我觉得很有意思，那么您有没有一个初步的想法来实现？如有您方便分享吗？
A4: 我有，我的想法是对不同的任务可以做一些对任务总结一些动作基元，做一些小的block，这些任务可以用模仿学习把它训出来。这些小的基元可以通过机器人本身的控制算法来实现，上层的规划交给大模型，等我的任务出来，大模型可以决策通过哪些运动基元来实现。
Q5: 老师对于低年级的想使用学习方法来实现机器人操作的低年级的研究生，您有什么建议吗？
A5: 这个问题太广泛了，但是我给一个我之前失败的例子，我上来就给强化学习，我认为强化学习不是不能用，我不知道你是做什么领域的，每个领域不一样，对于我这个操作，模仿学习很容易做，如果直接做强化学习，问题在于你要做的东西太大，要不定义一个很小的空间让他去搜索，那样意义也不大，我当时一开始上来就做强化学习，做了很久什么都没做出来，在我看来直接上强化学习效果可能不好，你可以先做模仿，因为你做了模仿可以得到一个比较接近实际的一个策略，这个策略上做强化学习也可以，但是直接做强化学习不太行，这是我从控制转到学习犯的错误，也有可能是我太菜了。再有一个事情就是做这些算法其实可以在github上gitclone，但我觉得比较重要的是你如果真的想要了解一个算法，自己写一遍可以领悟更深，我之前用了一个算法，并做了改进，如果我只是用了一下这个算法，我是做不出该进的，所以自己写一下是有帮助的。
Q6: 机器人学科需要学术和工程比较有机的融合，对于我们研究生来说，我们需要寻找科学问题，但同时又要处理工程任务。
A6: 这是一个很好的问题，然后我不知道能不能解答你，但我自己的认知是这样的：首先，我的观点是机器人不是一个科学，他更多的是工程，我做的东西他必须给人的生活创造价值，就是我认为他的应用是很重要的，去自动化某些过程让人感觉他是有用的。在我看来机器人研究也是有两种不同模式的：1、第一种是我对某种算法感兴趣，我想提升算法的性能，我想改进他，这种情况我任何可能和实际没什么关系，我想通过某种方法是算法需要更小数据，或者让他泛化更好。2、第二个情况我想实现某个操作，这个操作之前没有人实现。然后我这认为这两者无论从哪一点出发，最终会交汇到一点，为什么呢？因为就算你做算法，你需要有个任务去验证它，所以最终你要把算法放到任务上去执行；对于任务而言，有些任务你很想做，没有人做，你去做的时候会发现很多开放性的问题去让你自己去做，这些开放性的问题可能会引起你的算法的提升和创新，因为这些问题是开放性，没人做过。所以我认为最终它依然会交汇到一起，你从算法出发，最终落地到任务，你从任务出发，最终会有你的算法改进，对我来说这两者没有区别。我不知道这样能不能回答你的问题，我不知道你有没有一些实际的任务，我是喜欢做别人没做过的事情，就是如果做任务的，从纯做任务的角度出发，如果这个任务已经做了很多次了，已经有了成熟的解决方案，那这个东西没什么好做的，比如说我觉得pick and place没什么好做的，这个认为已经做了一万次了，除非是从算法角度出发把这个任务做的更好了，但是这样就是从算法角度出发，如果你从任务角度出发，那你就必须给我一个被人没做过的，如果全世界把这个任务做完了，那在我看来没什么好做的，但在我看来，总有一些东西是别人没做的，无论是你想象一个更好的方式去完成还是怎样。这是我对机器人研究的认知，我认为这两个最终会交汇到一起。
其他问题：
您是怎么想到要用双臂做机器人辅助穿衣的？
当时我去本田欧洲研究院做博后，看了半年文献后我很难受，因为我觉得这个任务大家都做的差不多，没什么好做的，都是一支胳膊悬空，一个机械臂给穿上，后来我就不看文献了，去观察专业的护理人员是怎么给老人穿衣的。我发现他们是双手操作的，另一个问题是，一支胳膊悬空几十秒就开始感到不舒服了。
Key messages from Dr.Jihong Zhu:
Deformable object manipulation challenges fundamental assumptions in traditional robotics research. It's a rich area with a lot of opportunities可变形物体操作挑战了传统机器人研究的基本假设。这是一个有很多机会的丰富领域。
Human inspiration is important for assistive tasks.
人类的灵感对辅助任务很重要。
Reference：
IEEE TRO 双臂机器人穿衣更胜一筹 研究被BBC等国际主流媒体报道 - 机器人大讲堂
https://www.bbc.com/news/uk-england-york-north-yorkshire-68489999
https://sites.google.com/view/bimanualassitdressing/home
760
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
