CV视觉-CSDN博客

原创大型语言模型对齐技术综述：RLHF、RLAIF、PPO、DPO 等

对于奖励模型，子主题包括：1. 显式奖励模型与隐式奖励模型；随着自监督学习的进步、预训练语料库中数万亿标记的可用性、指令微调以及具有数十亿参数的大型Transformer的发展，大型语言模型（LLMs）现在能够生成符合事实且连贯的人类查询响应。在本工作中，我们旨在填补这一空白，将这些论文分类为不同主题，并提供每种对齐方法的详细解释，从而帮助读者全面了解该领域的现状。主要包括四个方向：1. 奖励模型，2. 反馈，3. 强化学习策略，4. 优化。反馈包括来自人类或AI的偏好和二元响应，可以是成对或列表的形式。

2024-07-25 17:06:38 522

原创一文通透想颠覆Transformer的Mamba：从SSM、HiPPO、S4到Mamba

不知读者发现没有，本文标题的信息含量很大，比如。

2024-07-19 10:06:27 357

原创大模型的有趣应用

用大模型来玩Minecraft由 LLM 驱动的体现终身学习代理，它不断探索世界，获得各种技能，并在没有人为干预的情况下做出新的发现这个类似AutoGPT1）最大化探索的自动课程（Automatic Curriculum）2）不断增长的可执行代码技能库，用于存储和检索复杂行为，3）新的迭代提示机制，其中包含环境反馈，执行错误和自我验证（environment feedback, execution errors, and self-verification）以改进程序。

2024-07-15 17:49:49 770

原创 [线性RNN系列] Mamba: S4史诗级升级

iclr24终于可以在openreview上看预印本了!这篇（可能是颠覆之作）文风一眼c re组出品；效果实在太惊艳了，实验相当完善，忍不住写一篇解读分享分享

2024-07-11 18:30:49 991 1

原创大模型的基石： Transformer

可以让八十多种大模型同时对同一问题进行回答（赛博养蛊）。图片来源：自行录制。

2024-07-10 18:01:05 886

原创综述 | 基于深度学习的目标检测算法

Mask R-CNN 是基于 Faster R-CNN 的基础上演进改良而来，不同于 Faster R-CNN，Mask R-CNN 可以精确到像素级输出，完成分割任务。此外他们的输出也有所不同。Faster R-CNN 输出为种类标签和 box 坐标，而 Mask R-CNN 则会增加一个输出，即物体掩膜 (object mask)。Mask R-CNN 结构如下图：图 11。

2024-07-08 16:21:21 849

原创自动驾驶算法———车道检测（一）

在本章中，我将指导您构建一个简单但有效的车道检测管道，并将其应用于Carla 模拟器中捕获的图像。管道将图像作为输入，并产生车道边界的数学模型作为输出。图像由行车记录仪（固定在车辆挡风玻璃后面的摄像头）捕获。车道边界模型是一个多项式在这里，x𝑥和𝑦y以米为单位。它们在道路上定义了一个坐标系，如图1所示。管道由两个步骤组成使用神经网络，检测图像中车道边界的像素将车道边界像素与道路上的点关联起来，然后拟合多项式。

2024-07-08 15:56:08 2623 2

原创 CVPR2024｜实时目标检测的变革：RT-DETR的突破性性能

实时目标检测领域一直由基于CNN的架构主导，YOLO检测器领先。然而，端到端的基于变换器的检测器（DETRs）的引入彻底改变了这一领域，尽管它们的计算成本很高。在本文中，作者介绍了实时检测变换器（RT-DETR），这是一个突破性的模型，不仅在速度和精度方面实现了最先进的（SOTA）性能，而且消除了传统实时检测器中的非最大抑制（NMS）等后处理步骤的需要，这些步骤一直是传统实时检测器中的瓶颈。

2024-07-03 11:24:13 841

原创像教女朋友一样的Deformable DETR论文精度+代码详解

关于Deformable DETR的通俗讲解。

2024-07-02 18:19:18 1779 1

原创吴恩达《LangChain for LLM Application Development》课程笔记

①直接向框架的创建者HarrisonChase学习LangChain②将LLM应用到您的专有数据，以构建个人助理和专用聊天机器人③使用代理、链式调用和内存来扩展LLM的使用

2024-07-01 15:09:44 1301

原创实操教程｜PyTorch实现断点继续训练

作者丨HUST小菜鸡（已授权）编辑丨极市平台最近在尝试用CIFAR10训练分类问题的时候，由于数据集体量比较大，训练的过程中时间比较长，有时候想给停下来，但是停下来了之后就得重新训练，之前师兄让我们学习断点继续训练及继续训练的时候注意epoch的改变等，今天上午给大致整理了一下，不全面仅供参考。

2024-06-13 10:55:54 1368

原创哈工大(深圳)张梅山老师招收NLP硕士推免生和本科实习生

张梅山老师（主页 https://zhangmeishan.github.io/chn.html）计算机科学与技术学院副教授，硕博导。研究方向为自然语言处理、多模态学习，曾发表CCF A/B类论文70余篇，其中一作或通讯作者论文50多篇，谷歌被引4000多次。多次担任自然语言处理领域如ACL、EMNLP、COLING、AAAI、IJCAI等会议的领域主席或者高级PC。

2024-06-12 10:53:55 678

原创基于深度学习的图像边缘和轮廓提取

将这四个平行且相同的数据流连接到两个独立训练的分支组成的分叉子网络，一个分支学习预测轮廓似然（以分类为目标），而另一个分支训练学习在给定点轮廓的存在（基于回归测度），如图是 DeepEdge 架构图，其中 Canny 边缘检测器提取候选轮廓点，然后在每个候选点周围，提取四个不同尺度的补丁，同时通过预训练的 KNet 五个卷积层。（c）多尺度输入的单一模型;部分实验结果见图：从左到右依此是（a）输入图像，（b）GT 轮廓，（c）具有预训练 CEDN 的轮廓检测，和（d）具有细调 CEDN 的轮廓检测。

2024-06-11 10:54:59 1822

原创深度学习论文a+论文b=论文c？

本人前些年的工作是深度学习的大量灌水，我从事的是图像增强与去噪的方向，网络结构异常简单，因此创新的方向一般就两个，一个是特征提取的创新，一个是图像亮度增强/去噪方向的创新。上述都是特征提取的A+B，一般都可以很好的提升特征提取能力，想更进一步，我推荐更改多尺度结构或者一些剪枝的策略吧，看过很多离谱的魔改，让人瞠目结舌。你可以直接替换普通的通道注意力机制，比如AFF非常水的通过并联全局注意力和局部注意力提取发了篇顶会，你可以把它那个结构拆开放你的网络里。第二步的改进，就是你的研究目的了，我以亮度增强举例。

2024-06-07 11:43:46 451

原创太炸裂了！还没发布就已经爆火的从0构建大模型神书！！！

第三部分深入探讨了注意力机制的原理及其在LLM中的应用；这本书的作者一位实打实的大佬，不仅是威斯康星大学麦迪逊分校终身教授，还是《使用 PyTorch 和 Scikit-Learn 进行机器学习：使用 Python 开发机器学习和深度学习模型》这本机器学习好书的作者！这就立马让我对这本书期待不已，因为github上并没有PDF资源，所以我花了好长时间才才找到这本书的预印版，如果你需要的可以让我的小助手无偿分享给你~整本书会在带你从0构建和训练大模型的过程中，彻底了解大模型的实现细节和工作原理！

2024-06-05 11:13:42 345

原创斯坦福爆火Llama3-V竟抄袭清华开源项目，作者火速删库

Llama3-V 作者回答称，他参考了 MiniCPM-V-2 的 tokenizer（https://huggingface.co/openbmb/MinicPM-V-2/blob/main/tokenizer.jsonBefore），MiniCPM-Llama3-V2.5 采用了新的 tokenizer 和原来版本中的特殊符号，因此 Llama3-V 的代码中保留了这个符号，但 Llama3-V 与 MiniCPM-Llama3-V2.5 是完全不同。这样的解释明显出现了时间错位，加重了大家的怀疑。

2024-06-04 10:38:02 555

分享前沿AI技术