叶梓老师AI人工智能前沿分享

在人工智能的领域中，大语言模型（LLM）正变得越来越强大，它们在自然语言处理、图像识别、语音识别等多个领域展现出了巨大的潜力。然而，要充分发挥这些模型的能力，我们需要精心设计的提示（Prompt）来引导模型的输出。本文将介绍12种不同的提示工程技术，这些技术可以帮助我们更好地利用LLM，并在各种场景中实现更精准的应用。

随着大数据技术的快速发展，企业对数据的处理和分析需求日益增长。传统的数据仓库已逐渐无法满足现代业务对数据多样性和实时性的要求，这促使了数据湖和数据仓库的融合，即湖仓一体架构的诞生。在云原生技术的推动下，构建云原生湖仓成为企业提升数据处理能力的重要途径。本文将探讨如何利用Apache Iceberg和Amoro在云原生环境下构建高效的湖仓一体解决方案。Apache Iceberg与云原生Apache Iceberg是一个开源的表格式，专为大规模分析型数据而设计。

这时，如果你有一个特别的记忆系统，能够让你记住长期的重要信息，同时更新短期的细节，那么这个案件对你来说就会容易得多。随着时间的推移，你不断改进你的作品，而你的对手也不断提高他的鉴别能力。在传统的RNN中，信息是单向传递的，随着时间的推移，早期的信息可能会逐渐丢失，导致网络难以捕捉长期依赖。生成器的任务是生成新的数据样本，比如图片、音频或文本，而判别器的任务是判断这些数据样本是真实的还是生成器生成的。在收缩路径中，网络逐步减小特征图的分辨率，同时增加特征图的通道数，这使得网络能够捕捉到图像的上下文信息。

在人工智能的快速发展中，复杂推理能力的提升一直是研究者们追求的目标。最近，一项发表在arXiv上的研究成果【1】，提出了一种创新的方法，即通过微调小型语言模型（LMs），并将其与大型语言模型（LLMs）的协作，以显著提升复杂推理能力。这一方法的核心在于利用大型教师模型的思维链（Chain-of-Thought，CoT）推理能力来指导小模型解决复杂任务。大型语言模型，如GPT-3，已经展示出在多步推理任务中的卓越性能。然而，这些模型的计算要求和推理成本非常庞大，这限制了它们在实际应用中的大规模部署。

这里，查询（Q）是你要找的内容，键（K）表示字典里有什么样的信息，而值（V）则是对应的信息；在普通的字典查找中，字典会找到匹配的键，并返回其对应的值；我们介绍了Transformer中的三种不同的注意力层，以及注意力的实现方法，位置编码和多头注意力机制，涵盖了大部分注意力相关的知识点，希望朋友们对它有了近一步的了解。要构建一个因果自注意力层，在计算注意力分数和求和注意力值时需要使用适当的掩码，因为输出序列也是一次性输入的，但在计算前面分词的时候是不希望它后面的分词也参与计算的。这些模型是“因果”的。

在这项工作中，我们发现单步解毒方法虽然有效地降低了模型的毒性，但由于自回归生成方式的固有缺陷，它们却降低了大语言模型的生成能力。这是因为模型倾向于沿着有毒的提示生成内容，而解毒方法则朝着相反的方向发展。为了解决这个问题，我们将解毒过程分解为有序的子步骤，模型首先解毒输入，然后根据无毒提示持续生成内容。我们还通过将这些子步骤与Detox-Chain相连，校准了LLM的强大推理能力，使模型能够逐步解毒。

区别于随机选择 in-context 示例，本文提出的 PromptPG 通过 Policy Gradient 训练一个策略网络来选择更合适的 in-context 示例，在 TabMWP 上取得了最高的预测结果（68.23%），其平均预测准确率超过最好基准模型（Few-shot-CoT GPT-3）5.31%。通过让 Few-shot GPT-3 在生成最终答案前生成多步的中间步骤（Few-shot-CoT GPT-3），研究人员可以得到最优的基准模型，其准确率达到了 62.92%。

当遇到新的物品推荐时，计算物品嵌入与用户请求和偏好的嵌入之间的相似性，然后根据相似性检索最相关的物品信息，并构建一个提示输入到 ChatGPT 进行推荐，如图 3 的下半部分所示。除了一个领域的目标产品，如电影，LLMs 不仅对许多其他领域的产品有广泛的了解，如音乐和书籍，而且还了解上述各领域的产品之间的关系。左边的对话显示，当用户询问为什么推荐这部电影时，LLM 可以根据用户的喜好和推荐电影的。1. 用户与物品的历史交互，指的是用户过去与物品的互动，比如他们点击过的物品，购买过的物品，或者评价过的物品。

ai工具汇总

信息抽取任务具有多样的抽取目标和异构的结构，而传统的模型需要针对特定的任务进行任务设计和标签标注，这样非常的耗时耗力。实验结果表明，USM 在监督实验下实现了最先进的性能，并在零/少场景设置下表现出强大的泛化能力，验证了 USM 是一种新颖、可传输、可控和高效的框架。在本文中，我们提出了一个统一的语义匹配框架——USM，它对提取模式和输入文本进行联合编码，并行地统一提取子结构，并按需可控地解码目标结构。这样，USM 可以联合编码模式和输入文本，并行地统一提取子结构，并按需可控地解码目标结构。

2023年年初最火热的话题之一就是OpenAI的ChatGPT1，给人类带来了巨大的冲击。1月底，美国《财富》杂志2/3月合刊的封面文章《全球爆红的ChatGPT是如何诞生的？》引爆了创投圈。在这巨大的浪潮冲击下，如何让其在医疗领域发挥其强大的作用呢？沈定刚教授团队给出了初步的答案。在本文中，作者提出了一种将大型语言模型（LLMs）集成到医学影像计算机辅助诊断网络中的初步方法。

抛开需要大量语料数据训练模型不说，在目前，ChatGPT在应用时仍然需要大算力的服务器支持，而这些服务器的成本是普通用户无法承受的，即便数十亿个参数的模型也需要惊人数量的计算资源才能运行和训练。如果对于新知识采取在线训练的模式，看上去可行且语料成本相对较低，但是很容易由于新数据的引入而导致对原有知识的灾难性遗忘的问题。从数学或从机器学习的角度来看，语言模型是对词语序列的概率相关性分布的建模，即利用已经说过的语句（语句可以视为数学中的向量）作为输入条件，预测下一个时刻不同语句甚至语言集合出现的概率分布。

AIGC并不是一个全新的概念，它最早出现在深度学习模型“对抗生成网络”GAN的应用中，被誉为“21世纪最强大的算法模型之一” ，后续发展起来的扩散模型，以及自然语言领域BERT、GPT等都是典型的AIGC模型。

在一些实现中，作者也进行了测试，并给出了测试结果。在以上代码中，Q、K、V 三个向量输入到「_fwd」函数中，用于计算每个向量的注意力分数，并通过 softmax 的方式得到权重。这么多的工作量，当然还是需要很多参考资源的，David 会理解这些资源或实现，并以一种更易读的方式写出来。在每一个代码集下，作者都会提供不同实现的参考资料，例如模型的效果示例图、参考论文和参考链接等。将 NumPy 实现的所有机器学习模型全部开源，超过 3 万行代码、30 多个模型，并提供了相应的论文和一些实现的测试效果。

设计高效、高质量的表达性网络架构一直是深度学习领域最重要的研究课题。当今的大多数网络设计策略都集中于如何集成从不同层提取的特征，以及如何设计计算单元来有效地提取这些特征，从而增强网络的表现力。本文提出了一种新的网络设计策略，即基于梯度路径分析来设计网络结构。总体而言，当今主流的网络设计策略大多基于前馈路径，即基于数据路径设计网络架构。在本文中希望通过提高网络学习能力来增强训练模型的表达能力。由于驱动网络参数学习的机制是反向传播算法，本文设计了基于反向传播路径的网络设计策略。提出了layer-level、

2020年，年中。人类历史上最大的人工智能模型，来到人间。这个体格巨大的北鼻，哭声嘹亮，告知全世界：“我写的作文，几乎通过了图灵测试。”那些第一次听说参数数量的人，那些第一次翻看实验结果的人，那些第一次口算增长速度的人，在彼此确认了眼神之后，一致的反应是：“哦漏，我大概是疯了吧。不，是人工智能模型疯了吧。”同行迈出的步子，似乎要扯烂裤裆。墙内的人，捡起惊掉的下巴。墙外的人，他们只觉得婴儿的哭声吵闹。“不仅会写短文，而且写出来的作文挺逼真的，几乎可以骗过人类，可以说几乎通过了图灵测试。”如果没有后两个半句，你

目前，深度强化学习（DRL）技术在游戏等领域已经取得了巨大的成功，同时在量化投资中的也取得了突破性进展，为了训练一个实用的DRL 交易agent，决定在哪里交易，以什么价格交易以及交易的数量，这是一个具有挑战性的问题，那么强化学习到底如何与量化交易进行结合呢？我们知道解决一个问题最难的部分是建模部分，强化学习整体由环境、智能体和奖励函数三部分组成，那么对于量化交易来说，环境，智能体算法，奖励分别对应什么呢，下图对FinRL-Gym等环境，状态，动作和奖励进行定义和阐述。FinRL采用模块化结构的分层架构。

2022年11月3日，云栖大会上，张建锋（阿里云智能总裁）说：“以云为核心的新型计算体系正在形成，软件研发范式正在发生新的变革，Serverless是其中最重要的趋势之一。对用户来说，有点尴尬的地方在于，哪怕其他产品都用Serverless，存储不是，那存储的调用就不会随心所欲，恐怕就发挥不出Serverless的威力。谷歌三驾马车， 声震环宇，这一大数据历史性标志的背后是谷歌互联网搜索业务的规模极大，不可能用老办法部署软件，而是用一种后台，中台的方式去撑住。有趣的是，Serverless不是新技术。

对标美国，国内极少有技术含量的标注公司，大多是纯人力外包标注公司，看上去技术驱动的数据标注赛道还是一片蓝海。本质是，人类写下困难样本的答案，答案可以用于教学（训练），学习了之后，人工智能就更聪明了。主动学习一顿操作猛如虎，从新来的一万张图片里面挑出一些，比如，500张，转交给人类。专业的说法是，人机融合，迭代演化，“Human-in-the-Loop”。工业领域包括，自动驾驶，药物发现，人脸识别，黑产风控，电力系统检测。这里的“人工”不是高级工程师，而是纯手工，是数据标注所耗费的人力。

特别的，PP-Vehicle针对边缘端部署场景进行了优化，如针对Jetson系列模型选择轻量级版本，同时开启跟踪跳帧功能进行优化，同时提供了丰富的部署选项以达到性能-速度的平衡。此外，PP-Vehicle支持二次开发，大家可以在自己的数据集上进行模型训练、策略改写等，定制化自己的专属PP-Vehicle。PP-Vehicle针对一些高频车辆分析场景提供了详细的解决方案，在这里就主要思路进行简析，详细的解析大家可以关注课后的海报，听一听开发同学的详解。基于跟踪算法获取每辆车的轨迹，模型方案为OC-SORT。

一般来说多模态感知融合在自动驾驶环境中的任务包括了经典的目标检测、语义分割、深度估计和深度预测这类的工作品。其实常见的任务也主要也还是语义分割和目标检测。文章很详细的为我们整理了当前多模态融合的一些工作以及一些未来发展的方向。其实我觉得我们需要一套合理化决策，而且成本较低的多模态融合框架，就需要我们对我们的数据更加的了解。此外我们也需要更多的数据。更多的分析成本的投入。像自监督、对比学习、大规模预训练这类型的赋能工作，直接一套或许也能取得很棒的成绩，但是这种核弹式的打击并不是优化工作的核心内容。

自监督学习是通过大量无标签数据来预训练一个模型，学到数据表示 representation，然后根据不同的下游任务，把学到的表示接在不同的分类器 / 回归器上，并用下游任务的有标签数据对分类器 / 回归器进行训练，从而适用于下游任务。自监督对比学习首先把 n 个训练数据进行两次数据增广得到 n 对“正样本”，然后把“正样本对”在特征空间中拉近从而学到特征提取器。

随着自动驾驶、机器人系统和虚拟现实的发展，2D 和 3D 领域的目标检测变得越来越重要。通过各种数据表示（例如，单目图像、立体相机和 LiDAR 点云）在 3D 目标检测方面取得了很大进展。与从 2D 图像中检测 3D 目标相比，LiDAR 点云在检测 3D 目标中发挥着关键作用，因为它包含相对精确的深度和 3D 空间结构信息。和。将点离散为规则网格以方便 3D 稀疏卷积神经网络 (CNN)。然后，可以将体素化的特征图压缩为鸟瞰图（BEV），然后将其送到区域建议网络（RPN）以产生预测。相反，

多示例学习（）和弱监督（weakly supervised）有一定的关系，弱监督weakly supervised有三个含义（或者说三个方向，即三个弱的方面），他的训练数据：1.弱在缺标签：即标签是不完全的，部分有标签，部分无标签。2.弱在标签不准确：即部分标签是错的，部分是对的。3.弱在标签不精确：即标签没有直接打在样本上，而是在一个更高层次上，包标签与样本标签并不不是一个意思。多示例学习中，我们考虑这样一种训练数据，这个数据是有标记的，标记只有两个类别，正和负。

因此面向泛化性的表达是有益的。Meta Learning，又称为 learning to learn，在 meta training 阶段将数据集分解为不同的 meta task，去学习类别变化的情况下模型的泛化能力，在 meta testing 阶段，面对全新的类别，不需要变动已有的模型，就可以完成分类。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。...

尽管计算机视觉和深度学习取得了长足的发展，但基于视觉的任务（如物体检测、分割、车道检测等）在低成本自动驾驶的应用中仍然具有挑战性。最近已经努力建立一个强大的全景驾驶感知系统，这是自动驾驶的关键组成部分之一。全景驾驶感知系统通过摄像头或激光雷达等常见传感器，帮助自动驾驶车辆全面了解周围环境。基于相机的目标检测和分割任务通常在场景理解的实际使用中因其低成本而受到青睐。目标检测在提供交通障碍物的位置和大小信息方面发挥着重要作用，帮助自动驾驶汽车在行驶阶段做出准确及时的决策。...

对于视觉信息丰富的文档的结构不仅仅由文本内容的结构决定,与布局、排版、格式、表/图结构等视觉元素同样相关.例如收据、证书、保险文件等.Liu等人提出的利用图卷积神经网络建模视觉元素丰富的文档,首先通过OCR系统获得一组Text Blocks,每一个Text Block包含其在图像中与文本内容的坐标信息,将其构成一个完全连通的有向图,即每个Text Blocks构成一个节点,通过Bi-LSTM获取节点的初始特征,边的初始特征是相邻文本块与当前文本块之间的相对距离以及这两个文本块的长宽比。

因为 “模型构建”+“超参数选择并不是简单的1+1=2，将二者合并后，会导致搜索空间指数级增加，搜索难度变成地狱级别。酒店的“架子”定好了，房型清单（备选模块）也确定了，那么下一步就是去设计酒店的房间布局了（模型每一层的结构）。有想法的企业还会建立自己的算法库，把之前已经用熟了的模型存在库里，专业说法是“沉淀”，方便日后“复用”。假如酒店是50层，每层长50米，自动化的过程就是如何把单人间，双人间，总统套房，布局到酒店大厦。这些模型的成绩会和专家的成绩进行比较，有时候，效果远远不如专家做的。...

在 5 FPS 到 160 FPS 范围内的速度和准确度都超过了所有已知的目标检测器，并且在 GPU V100 上 30 FPS 或更高的所有已知实时目标检测器中具有最高的准确度 56.8% AP。 目标检测器（56 FPS V100，55.9% AP）比基于的检测器 （9.2 FPS A100，53.9% AP）的速度和准确度分别高出 509% 和 2%，并且比基于卷积的检测器 (8.6 FPS A100, 55.2% AP) 速度提高 551%，准确率提高 0.7%，以及 的表现还优于：、、、、 、

这里被称为“图”的东西，不是图画的图，而是图论的图。知识图谱数据模型的数学基础源于“图论”。简单说，是把零散的信息有效地组织起来，把纷繁复杂的数据变成有用的知识，这是知识图谱的意义。下图为，中文医学知识图谱示意。知识图谱有顶点（Vertex）和边（Edge），是关联数据的高度抽象。顶点和边可以带有属性，能表示出不同的“关系”。（一）如何“建”知识图谱？ 建大型知识图谱，可是个系统工程。人类学知识...

在 出现之后，端到端的目标检测得到了迅速的发展。 使用一组来替换大多数传统检测器中的。相比之下，不能保证作为密集先验的高召回率。但是，在当前框架中，使查询变得密集并非易事。它不仅计算成本高，而且优化困难。由于和都不完美，那么端到端目标检测中的预期查询是什么？本文表明预期的查询应该是密集的不同查询（）。具体来说，将密集先验引入框架以生成密集查询。对这些查询应用重复查询删除预处理，以便它们彼此区分开来。然后迭代处理密集的不同查询以获得最终的稀疏输出。实验展示了 更强大、更健壮且收敛更快。它在 检测数据集上

接上一篇P32P33n2021年12月中旬，Facebook AI Research和约翰霍普金斯大学的研究人员提出了MaskFeat，也是采用「Mask-and-Predict」的方法，性能却比MAE上更进一步。nMaskFeat最核心的改变就是将MAE对图像像素（pixel）的直接预测，替换成对图像的方向梯度直方图（HOG）的预测。...

目标检测是计算机视觉任务的核心问题之一，其有效性在很大程度上取决于损失函数的定义。传统的目标检测损失函数依赖于边界框回归指标的聚合，例如预测框和真实框（即 GIoU、CIoU、ICIoU 等）的距离、重叠区域和纵横比。然而，迄今为止提出和使用的方法都没有考虑到所需真实框与预测框之间不匹配的方向。这种不足导致收敛速度较慢且效率较低，因为预测框可能在训练过程中“四处游荡”并最终产生更差的模型。在本文中，提出了一种新的损失函数 SIoU，其中考虑到所需回归之间的向量角度，重新定义了惩罚指标。应...

最近的端到端多目标检测器通过去除手工制作的过程来简化推理流程，例如使用非最大抑制 (NMS) 去除重复的边界框。然而，在训练中，它们需要二分匹配来计算检测器输出的损失。与端到端方法的方向性相反，二分匹配使得端到端检测器的训练变得复杂。在本文中旨在提出一种无需二分匹配即可训练端到端多目标检测器的方法。为此，将端到端多目标检测视为使用混合模型的密度估计。提出了新的检测器，称为稀疏混合密度目标检测器(Sparse MDOD)，使用混合模型估计边界框的分布。Sparse MDOD通过最小化负对数似然和最大分

在了解湖仓一体化之前，我们先来看一则有关数据仓库的有趣故事吧~沃尔玛拥有世界上最大的数据仓库系统，它利用数据挖掘方法对交易数据进行分析后发现"跟尿布一起购买最多的商品竟是啤酒！后来经过大量实际调查和分析，发现在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒，这是因为美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。这就是大数据领域经常讲的啤酒与尿布的故事！可见大数据其实很早之前就已经伴随在..

在计算机视觉方面，实现最先进性能的大型模型与实际应用中简单的模型之间的差距越来越大。在本文中，将解决这个问题，并显著地弥补这2种模型之间的差距。在实证研究中，作者的目标不是一定要提出一种新的方法，而是努力确定一种稳健和有效的配置方案，使最先进的大模型在实践中能够得到应用。本文证明了在正确使用的情况下，知识蒸馏可以在不影响大模型性能的情况下减小它们的规模。作者还发现有某些隐式的设计选择可能会极大地影响蒸馏的有效性。作者的主要贡献是明确地识别了这些设计选择。作者通过一项全面的实证研究来支持本文的发现，在

本文作者从实际应用的角度重新审视现有的Transformer。它们中的大多数甚至不如基本的ResNets系列高效，并且偏离了现实的部署场景。这可能是由于当前衡量计算效率的标准，例如FLOP或参数是片面的、次优的同时对硬件也不敏感的。因此，本文直接将特定硬件上的TensorRT延迟作为效率指标，提供了更全面的计算能力、内存成本和带宽反馈。在一系列对照实验的基础上，本文得出了TensorRT的4个设计指南，例如Stage-level的Early CNN和Late Transformer，Block-lev.

接上一篇P31P32CV大神——何恺明n2003年5月，何恺明拿到保送清华的资格，高考获得满分900分的成绩，成为当年广东省9位满分状元之一。n本科就读于清华大学，博士毕业于香港中文大学多媒体实验室。n2011年加入微软亚洲研究院（MSRA）工作，主要研究计算机视觉和深度学习。n2016年，加入Facebook AI Research（FAIR）担任研究科学家。n2020年1月11日，荣登AI全球最具影响力学者榜单。故事还没完……n2021年12月中旬

接上一篇P28P30实验效果-ViT模型的影响n性能惊艳：ImageNet-1K最高87.8%。与当前SOTA自监督预训练方法相比，对于 ViT-B 的表现结果都很接近。对于 ViT-L不同方法的结果就存在很大差距，这表明更大模型的挑战是减少过度拟合。n再看最后一列，仅使用ImageNet-1K数据时，ViT-Huge模型的最高精确度为87.8%，这明显超过了所有在ImageNet-21K 预训练的ViT变种模型。实验效果-参数改变n改变各种参数后的对比实验.

接上一篇P26P27MAE的Reconstruction targetnOur MAE reconstructs the input by predicting the pixel values for each masked patch. nEach element in the decoder’s output is a vector of pixel values representing a patch. nThe last layer of the decoder is a l