achao的专栏

从图灵定义看，知识由感知、智能体环境交互获得，具身智能要拥有足够的知识完成机器人任务。从字面上理解就是具有身体的智能，可以从交互中学习并有可能涌现新能力。近期的具身智能更多和大模型和端到端有关，是通过学习的方式涌现的智能。

该论文提出了一个开源的通用机器人操作策略Octo,论文实验主要评估Octo在零样本多机器人控制和few-shot策略微调中的性能,以及不同设计决策的影响。Octo是一个基于大型transformer的策略预训练，它是迄今为止最大的机器人操作数据集，包含800k个机器人轨迹。Octo可以解决各种开箱即用的任务，Octo的组合设计能够调整新的输入和动作空间，使Octo成为广泛的机器人控制问题的通用初始化。除了模型本身，本方法还发布了完整的训练和微调代码，以及使大型机器人数据集更容易训练的工具。

Lerrel Pinto是NYU Courant的计算机科学助理教授，也是用机器人和人工智能实验室(CILVR小组)的一员。在加州大学伯克利分校读博士后，在CMU机器人研究所读博士，在印度理工学院古瓦哈蒂读本科。研究目标是让机器人在我们生活的混乱世界中进行归纳和适应。研究方向主要集中在机器人学习和决策上，重点是大规模学习(数据和模型)，感官数据的表示学习，开发算法来模拟动作和行为，适应新场景的强化学习，以及构建开源的affordable的机器人。

Chelsea Finn是Stanford计算机科学与电气工程系的助理教授。她的实验室IRIS通过大规模的机器人互动研究智能，并与SAIL（斯坦福人工智能实验室）和ML Group（机器学习团队）有合作关系。他还在谷歌的Google Brain团队工作。她对机器人和其他智能体通过学习和互动来发展广泛智能行为的能力感兴趣。他在UC Berkely完成了计算机科学博士学位，师从Sergey Levine，本科毕业于MIT。

王鹤，北京大学前沿计算研究中心助理教授，本科毕业于清华大学，博士毕业于斯坦福大学，师从美国三院院士Leonidas. J Guibas教授。他创立并领导了具身感知与交互实验室(EPIC Lab)，实验室立足三维视觉感知与机器人学，重点关注具身机器人在三维复杂环境中的感知和交互问题，研究目标是以可扩增地方式发展高泛化性的机器人视觉和控制系统。研究成果覆盖物体抓取、功能性操控、灵巧操作及寻物导航。

马萨诸塞大学阿默斯特分校的一名教员，也是麻省理工学院- ibm沃森人工智能实验室的研究经理。在麻省理工学院博士后期间，和Antonio Torralba教授、Daniela Rus教授和Josh Tenenbaum教授一起工作。在此之前，在清华大学以最高荣誉完成了博士学位，导师是姚期志教授。研究涉及计算机视觉、人工智能、认知科学和机器人技术的交叉领域。研究的首要目标是建立一个类似人类的自主代理，能够在物理世界中感知、推理和行动。

提出了GenSim，一个可扩展的LLM框架，以增强机器人策略的各种仿真任务，其目的是将LLM的基础和编码能力提炼到低级策略中。我们研究了目标导向和探索性方法中的LLM提示、检索增强生成和微调，以生成新的仿真任务代码。我们利用生成的任务来训练多任务策略，这些策略显示了对模拟和现实世界中的新任务的泛化能力。局限性：生成的代码仍然包含基本的语法错误，并且存在幻觉，并且缺乏物理和几何细节的基础。另一个问题是代码生成评估度量是不完美的(例如不一致的语言描述)，因此生成的任务可能需要在策略训练之前进行一些手动过滤。

宋舒然是斯坦福大学的助理教授。在此之前，他曾是哥伦比亚大学的助理教授，是Columbia Artificial Intelligence and Robotics Lab的负责人。他的研究聚焦于计算机视觉和机器人技术。本科毕业于香港科技大学。

做的事情和大致的思路其实和以前的RT-1, VIMA等模型没啥区别，本质上就是一种将预训练的 PaLM-E 等预训练的 VLM 大模型如何加进这些模型中，不过从VLM finetune、action token对齐text token是比较新的点限制：• RT-2可以执行更加复杂的指令，这是因为从自然语言到动作能更容易被理解；但是不能泛化到新的行为上，因为网络上获取的数据只能帮助模型学会更多的视觉语义信息，无法学会新的行为• 由于机器人数据集总体量级很少，并且无法搜集机器人没有做过的行为。

文章提出了VILA框架来做机械臂task planning，通过闭环视觉反馈的机制，可以根据实际任务进展进行replan，有着较好的鲁棒性，可以给相关研究者带来一些启发。VILA在真机上也达到了很好的效果，推进了这一领域的发展。另外，目前文章还有几处可能的局限和问题：1. 结论解释欠缺：CLIPort-Short（只在单步指令上训练，如：拿起黄色方块）比 CLIPort-Long（在high-level指令上训练，如：把字母按字母序排列）效果差，文章似乎没有对这一点做解释。

自由形式语言指令 L 指定了一个操作问题，例如“打开最顶部的抽屉”。然而，根据 L 生成机器人轨迹是很困难的，因为 L 可能具有任意长度，或者是不明确的（例如，需要上下文语义）。相反，我们专注于问题的各个阶段(子任务)l_i，它们明确地指定了一个操作任务 （例如，“抓住抽屉把手”，“打开抽屉”），其中被分解的子阶段（子任务）L→l1l2lnL→l1​l2​...ln​由高级规划器（例如，一个LLM或一个基于搜索的规划器）给出。

在AI达到类人水平并带来新的技术革新之前，当前的自动化系统仍然有重大的局限性。最理想的情况下，会出现L5自动驾驶、家用机器人、虚拟助理，这些机器人会学习可靠的世界模型，然后进行推理，对复杂的行动序列做出计划。本文引入了基于能力的潜变量模型分层联合嵌入预测架构（H-JEPA）。

现代自动驾驶系统通常是模块化的序列任务，这种方式很容易造成累积误差和任务协调不足，因此设计一个端到端架构，从全局的视角出发为agent的交互提供互补的特征提取。

OpenAI 的 CEO Sam Altman 认为 prompt 是个非常高杠杆的技能。学习 prompt 可以让你更好地使用 ChatGPT 等产品， 当然prompt可能 会是个短期过度形态，未来肯定会有更友好的交互形式，或者理解能力更强的 AI 产品。前特斯拉 AI 负责人 Andrej Karpathy（最近二进宫回OpenAI ） 今年 1 月底也说：最热门的新编程语言是英语。

智能闭环中的视觉图形与决策，智能的学科关联与演进

一个理解深度网络的新框架：压缩闭环转录。这个框架包含两个原理：简约性（parsimony）与自洽性/自一致性（self-consistency），分别对应 AI 模型学习过程中的“学习什么”与“如何学习”，被认为是构成人工/自然智能的两大基础。......

目录不确定性的测量和定性估计分类任务中的不确定性测量分类任务中的数据不确定性测量分类任务中的模型不确定性测量分类任务中的分布不确定性完备数据集性能测量估计回归任务中的不确定性测量回归任务中的数据不确定性测量回归任务中的模型不确定性估计回分割任务中的不确定性校准校准方法正则化方法后处理方法不确定性估计校准方法估计校准质量数据集与baseline不确定性估计的应用总结不确定性的测量和定性顾名思义，我们有了各种建模和估计不确定性的方法，就需要不同的测量来评估他们的好坏。通常情况下这些方法的正确性和可靠性是不能

目录不确定度估计方法A.Single Deterministic MethodsB.Bayesian Neural NetworksC. Ensemble MethodsD. Test Time AugmentationE. Neural Network Uncertainty Quantification Approaches for Real Life Applications不确定度估计方法A.Single Deterministic MethodsB.Bayesian Neural Netwo

深度神经网络的不确定度摘要深度神经网络的不确定度A.数据获取B.深度神经网络设计与训练欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入摘要基本神经网络没有实现确定性估计，或者会遭遇过置信或欠

文章目录Neural Network Check List 如何使用这个指南 数据问题 1 检查输入数据 2 试一下随机输入 3 检查数据加载单元 4 确保输入和输出是一一对应的 5 输入和输出之间的关系映射的随机性会不会太强了？ 6 数据集中的噪声 7 打乱数据集 8 控制类别不平衡现象 9 会不会是训练数据不足？ 10 尽量你的训练批次中的样本标签多样化 11 减小batch size 12 尝试经典数据集（MNI