大靠山-CSDN博客

原创多模态表征学习综述：演变历史、预训练方法、应用场景、数据集合、发展趋势

这项任务从互联网上获取大量多模态内容（视频、图像和相应的文本），并提取关键信息以生成摘要[122]。Palaskar等人[123]使用多源seq2seq和层次化注意力生成摘要，该摘要整合了不同模态的信息。同样，提出了一个多阶段融合网络，建立了不同源模态之间的交互。最近，提出了一种方法[124]，利用视觉模态生成摘要，该方法利用生成预训练语言模型（GPLMs）。在视觉上引导的GPLMs中插入了基于注意力的附加层，以保持视觉整合和文本生成。

2024-09-23 20:37:36 1176

原创小模型在大语言模型时代重要角色和作用综述：合作、竞争、权衡、趋势

大型语言模型（LLMs）在推进人工通用智能（AGI）方面取得了显著进展，促进了像GPT-4和LLaMA-405B这样越来越大的模型的发展。然而，模型规模的扩大导致计算成本和能源消耗呈指数级增长，使得这些模型对于资源有限的学术研究人员和企业来说不切实际。与此同时，小型模型（SMs）在实际应用中经常被使用，尽管它们的重要性目前被低估了。这引发了关于LLMs时代小型模型角色的重要问题，这是以往研究中很少关注的话题。在本项工作中，我们系统地从两个关键角度检视了LLMs和SMs之间的关系：合作与竞争。

2024-09-23 20:35:19 716

原创 InternVL2 VS Qwen2-VL，多模态大模型评测实践

InternVL2是由上海人工智能实验室 OpenGVLab 发布的一款多模态大模型，其中文名称为“书生·万象该模型在多学科问答（MMMU）任务上表现出色，成为国内首个在该任务上性能突破60的模型，被誉为开源多模态大模型性能的新标杆。InternVL2官方性能评测结果，来源：https://github.com/OpenGVLab/InternVLQwen2-VL是阿里巴巴达摩院开源的视觉多模态 AI 模型，具备高级图像和视频理解能力。

2024-09-23 20:33:19 602

原创中医药大语言模型的关键技术与构建策略

自ChatGPT发布以来，全球对此类模型的研究兴趣日益浓厚。众多研究机构和公司随之开发了类似的开源LLM，如LLaMA、ChatGLM-6B和Gemini等，这些模型主要利用公开的学术文献和网络数据进行训练，应用广泛，但在特定行业的应用和精确度方面还存在限制。在中医药领域，尽管人工智能技术已被用于整理中医古籍、临床数据和药物信息等，但数据标准化和客观化程度不足，限制了人工智能技术在中医药领域的应用效果。因此，如何构建高质量的中医药数据集以提升模型训练效果，成为了中医药LLM开发领域的一个重要研究方向。

2024-09-22 10:45:00 959

原创 OpenAI o1模型推理能力大幅提升的背后：重复采样如何提升AI推理能力

今天OpenAI对外发布了o1模型，最大的特点便是推理能力大大增强，推理速度大大变慢。传统大模型都在比拼降低响应延迟的时候，OpenAI竟然做了一个“超慢”模型。为什么会这样答案就在下面这张图里，它解释了o1的推理工作原理，也回答了它为啥变慢。o1模型的特点是在回答前进行思考，并不直接给出推理结果，响应用户之前会产生长串的内部思维链，生成不同的方法，进行验证尝试，有成功的，也有失败的，但不会展示给用户，就像是打草稿一样，直到得出答案，最后再丢弃草稿，以保持回答简洁，上下文干净。

2024-09-21 20:01:36 909

原创达到草莓的70%！首个open o1项目开源

晚上加个钟，爬上来分享一个开源项目，g1。项目目前主要使用提示词策略通过类似 o1 的推理链来提高 LLM 的推理能力。允许 LLM “思考”并解决通常会难倒SOTA模型的逻辑问题。与 o1 不同，它会显示所有思考内容，并且该应用程序使用开源模型。项目地址：https://github.com/bklieger-groq/g1g1 目前并不完美，但它的性能明显优于开箱即用的 LLMs。从初始测试开始，g1 准确的解决了困扰 LLMs 的60%~80%的常见问题。

2024-09-20 20:20:10 812

原创 Qwen2.5登上全球开源王座！72B模型击败LIama3 405B，轻松胜过GPT-4o-mini

击败LIama3！Qwen2.5登上全球开源王座。而后者仅以五分之一的参数规模，就在多任务中超越LIama3 405B。各种任务表现也远超同类别的其他模型。跟上一代相比，几乎实现了全面提升，尤其在一般任务、数学和编码方面的能力表现显著。值得注意的是，此次Qwen可以说是史上最大规模开源，基础模型直接释放了7个参数型号，其中还有六七个数学、代码模型。像14B、32B以及轻量级Turbo模型胜过GPT-4o-mini。除3B和72B模型外，此次所有开源模型均采用Apache 2.0许可。

2024-09-20 20:19:33 719

原创程序员危矣，Cursor自动整活，让AI开发AI

自从有了大模型，各种AI辅助编程的工具就层出不穷。曾经，我也开发过一键总结整个项目的AI应用。不过要说最受欢迎的 AI 编程工具非 Cursor 莫属，甚至一个 8岁小女孩用 Cursor 45分钟打造了一个聊天机器人。正好我最近想开发一个AI应用，拿 Cursor 体验一下。需求是这样，因为经常要阅读英文 PDF 资料，所以想开发一个AI应用能够将 PDF 直接翻译成中文。如果直接将 PDF 文本内容读取出来去翻译，拿到的格式肯定是乱的，翻译后的格式跟原版对不上，阅读起来很痛苦。

2024-09-20 20:18:32 849

原创 TorchChat：Ollama的潜在对手

PyTorch最近发布TorchChat，TorchChat允许在本地台式机、笔记本电脑或移动设备上下载和运行大型语言模型。会不会让你想到什么，没错就是[Ollama]。TorchChat是一个适应性强的框架，旨在提高各种硬件平台的LLMs效率，有助于在各种设备上有效地运行本地模型。TorchChat通过支持 GGML 生态系统中常用的[GGUF]文件来扩展其兼容性。

2024-09-19 20:06:48 617

原创读书笔记之分享几篇LLM 大模型在量化金融领域的应用论文

分享几篇最近几天看过的LLM 大模型在量化金融领域应用的文章链接一：https://arxiv.org/pdf/2403.16055核心思想：运用过去的财经信息文本信息，video信息，audio信息经过起初的encoder模型进行数据token representation，进而构建多层次的GCN layer信息进行信息的搜集和聚合，然后塞给ChatGLM 同时配合prompt 进行资产价格的涨跌预测论文链接：https://arxiv.org/pdf/2409.06289。

2024-09-19 20:05:43 659

原创史上最全的50个文献综述GPT提示词！建议收藏！

‍“文献综述-搭建框架篇PROMPT 1中文：请概述当前研究领域的发展历程，梳理关键里程碑事件和理论演进，为后续研究定位。English: Outline the historical development of the research field, tracing key milestones and theoretical evolution to contextualize the current study.中文：系统归纳已有文献中的主要观点、假设和发现，形成对现有研究的全面认识。English

2024-09-19 20:05:07 931

原创【RAG】RAG再进化？基于长期记忆的检索增强生成新范式-MemoRAG

RAG现在工作很多，进化的也很快，再来看看一个新的RAG工作-MemoRAG。文章提出，RAG在减少大模型对于垂类知识的问答幻觉上取得了不错的效果，也成为私域知识问答的一种范式。然而，传统RAG系统主要适用于明确信息需求的问答任务，但在处理涉及模糊信息需求或非结构化知识的复杂任务时表现不佳。因为，现实世界中的许多问题信息需求是模糊的，外部知识是非结构化的，例如理解书籍中主要角色之间的相互关系。因此，研究难点在于：如何有效处理模糊的信息需求如何从非结构化知识中提取有用信息。

2024-09-18 20:31:45 847

原创 5个顶级Agent框架-之二：前3个比较常见，后两个很好用但大多数人不知道

AI Agent是自主程序，旨在感知其环境并采取行动以实现特定目标。由于强大的构建和部署这些代理的平台的普及，现在各种规模的企业都可以访问这些Agent。这些平台正在使人工智能民主化，使组织能够利用尖端技术，而无需深入了解机器学习或神经网络架构。这些平台的重要性不言而喻。它们不仅仅是工具；它们是创新的催化剂，使企业能够达成以下目的：快速原型和部署人工智能解决方案为特定行业需求定制代理在整个组织中扩展人工智能能力将先进的人工智能功能集成到现有系统中。

2024-09-18 20:31:02 956

原创【1.3K star!】从0开始训练26M的大模型需要多久？MiniMind重磅开源: 只需要3小时！项目资料详细我又行了！

大语言模型（LLM）领域，如 GPT、LLaMA、GLM 等，虽然它们效果惊艳，但动辄10 Bilion庞大的模型参数个人设备显存远不够训练，甚至推理困难。几乎所有人都不会只满足于用Lora等方案fine-tuing大模型学会一些新的指令，这约等于在教牛顿玩21世纪的智能手机，然而，这远远脱离了学习物理本身的奥妙。此外，卖课付费订阅的营销号漏洞百出的一知半解讲解AI的教程遍地，让理解LLM的优质内容雪上加霜，严重阻碍了学习者。

2024-09-18 20:29:41 824

原创探探AI之五：通过扣子/coze搭建一个商品推荐bot/agent

在购物过程中，无论线上线下，都会有咨询导购的场景，尤其在美妆、家居电器等商品知识相对专业的行业里，大家选购前会查找专业意见，要不咨询客服，要不在网上各种查找信息，这也是为什么各种博主、测评和直播等可以兴盛的原因，人们需要专业的购买意见，比如美妆行业，有一种专门的职业叫做BA（Beauty Adviser），也就是美容顾问。现在国内外大模型的都有极为丰富的基础知识，如下图，比如美妆对于材质、成分的基础知识了解“头头是道”，用来做一个“及格的”导购肯定“绰绰有余”，当然离专业有很大的距离。

2024-09-17 10:45:00 712

原创 OpenAI震撼发布o1大模型！RL深度思考，技术差距拉开

openai放大招了，是奥特曼在推上宣传了很久的草莓真身，这次它真的来了。又给大家带来一点小小的震撼，国内大模型老板们也不再迷茫了，4o的多模态的还没赶上呢，这下怎么又回到纯文本了，不是说大家都搞得差不多了吗？奥特曼表示，虽然 o1 的表现仍然存在缺陷，不过你在第一次使用它的时候仍然会感到震撼。这对从业者绝对是一件大好事，老板们发现饼还比较大，还可以让资本继续投钱，百万洗数据槽工衣食所系！直接延长了从愚昧之巅到绝望之谷的到来。

2024-09-16 10:45:00 730

原创工业大模型市场图谱：53个工业大模型全面梳理

工业场景要求严谨、容错率低，核心业务场景对模型准确率的要求达到95%以上、对幻觉的容忍率为0，因此通用基础大模型的工业知识往往不足以满足工业场景的应用需求。目前，市场上已涌现出各种工业大模型。按照发布主体可划分为· 头部工业企业拥有海量专业数据、应用场景丰富，，引入业界领先的通用大模型，在此基础之上整合行业知识与特征进行训练和调优；。通用大模型投入数据量大、算力成本高、算法难度大，一般由头部AI/互联网公司构建；

2024-09-15 10:45:00 1289

原创新鲜出炉2个RAG技巧，高级RAG更高级！

上周比较火的2个内容，一个是JinaAI发布的一个关于late chunking的博客，另外一个是英伟达最新挂出来的RAG-OP的论文。2个都能让已有的RAG系统召回测有一个比较不错的提升，并且实现都非常容易。与常规的先chunk切分后向量化相反，先将整个文本输入到向量模型中。在输出层进行chunk分组。这样的优势是，充分利用长上下文模型的优势，同时又不会让每个块的信息过多，干扰向量表征。实测能有效的提升召回效果，尤其是那些主语被切分掉的chunk。

2024-09-14 17:36:50 1068

原创量化实操｜七天搭建本地金融任务助手

许多看官，好久没有更新，甚是想念。最近因为参加公司的大模型竞赛，作为拉磨驴的小木自然者无旁贷，连忙设计了一个智能助手的方案，并花了五个晚上和一个周末的时间初步完成了搭建。由于是第一次接触大模型应用，也遇到不少的苦难曲折。在这里，我也将它选择性地作为一篇推文记录我的开发过程。日期开发内容第一天在本地开发环境中部署 taskweaver 的 chainlit 界面并启动第二天将 finrobot 整合至 taskweaver，得到证券报告生成插件第三天。

2024-09-13 20:14:40 842

原创 Qwen2-VL：最新开源多模态视觉语言模型，可以理解20分钟以上的视频

Qwen2-VL是阿里云Qwen团队开发的多模态大型语言模型系列的最新版本。这个项目利用先进的视觉语言模型，提供对各种分辨率和比例图像的深入理解，并支持长达20分钟以上视频的在线流处理。Qwen2-VL不仅能处理图像和视频，还能理解和操作移动设备和机器人等设备。此外，它还支持多语言环境，能识别图片中的多种语言文字。适用于高质量的视觉基础问答、对话和内容创作等任务。

2024-09-13 20:13:30 685

原创新AI编程工具爆火：手机2分钟创建一个APP

不难看出，Replit Agent不仅仅是聚焦在编程一个环节，更是照顾到了开发过程中的种种关键内容。由此，现在开发一个APP可以按照分钟来计算了2分钟，手机上创建一个APP2分43秒，创建类似Wordle的游戏4分钟，构建了一个用于提交漏洞的网站5分钟，创建一个LLM应用并且部署到线上而且上述的案例，还都是网友们在体验后，亲测有效的那种。也正如网友们观后直呼“疯狂”的效果，目前CEO Amjad Masad发布的介绍视频。

2024-09-12 21:16:15 999

原创 LLM训练通信量减少10000倍！全新分布式优化器，整合世间算力训练强大AI

如果可以使用世界上所有的算力来训练AI模型，会怎么样？近日，凭借发布了开源的Hermes 3（基于Llama 3.1）而引起广泛关注的Nous Research，再次宣布了一项重大突破——DisTrO（分布式互联网训练）。通过使用与架构和网络无关的分布式优化器，研究人员成功将训练LLM时GPU间的通信量降低了1000到10000倍！初步技术报告：https://github.com/NousResearch/DisTrO/在如此夸张的改进之下，大模型训练的重要成本和瓶颈——带宽，也就不再是问题。

2024-09-12 21:15:09 809

原创基于LLM架构的AI Agent平台的现状和未来预测

在当今人工智能飞速发展的时代，AI Agent正以其独特的方式重塑着企业的生产运营方式。澜码科技作为AI Agent领域的先行者，其创始人兼CEO周健先生分享了对大模型与AI Agent发展现状的深刻见解，以及这些技术如何赋能企业数智化转型的前瞻性思考。以下是对这次分享的详细实录，它不仅涵盖了AI Agent在不同行业落地的实践案例，还探讨了企业未来数智化发展的趋势和方向。去年年初，陆奇博士提到，大模型的发展带来了人机交互革命。

2024-09-12 21:13:57 1013

原创 GraphRAG在网络安全情报分析的变革性应用

最近，GraphRAG在GitHub上发布 [重磅 - 微软官宣正式在GitHub开源GraphRAG]，提供比简单RAG方法更结构化的信息检索和全面的响应生成。GraphRAG代码库还附带一个解决方案加速器，提供易于使用的API体验，托管在Azure上，可以在几次点击中无代码部署。GraphRAG将RAG的优势与基于图的索引和摘要相结合，通过解决检索增强生成和查询聚焦摘要（QFS）在处理大量文本语料时的固有限制而脱颖而出。

2024-09-11 20:29:54 709

原创最新开源：开源大模型新王干翻GPT-4o；零一万物开源 Yi-Coder；第一个完全开源的MoE大模型...

刚刚，一个初创团队 HyperWrite 发布，成最顶级开源AI模型，横扫 MMLU、MATH、IFEval、GSM8K，在每项基准测试上都超过了 GPT-4o，还击败了 405B 的 Llama 3.1。的独特之处在于其技术。使用一种称为的全新技术进行训练，让AI学会在推理过程中纠正自己的错误和幻觉。在官方评测中，模型全面超越最强开源Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro，特别是数学基准GSM8K上直接刷爆，得分。

2024-09-11 20:28:39 475

原创历时一个月，整理30个无敌GPT提示词

‍“论文撰写PROMPT 1根据你所掌握的关于[xxx]的知识，润色并续写上面的内容，使得内容更加丰富完整。Based on the knowledge you have mastered about [xxx], polish and continue writing the above content to make the content richer and more complete.请根据以下信息，撰写一份大约(字数)字的致谢，使用礼貌和诚恳的语气，并注意格式和标点。感谢对象1: 感谢他们对我的

2024-09-11 20:27:03 897

原创 SGLang：LLM推理引擎发展新方向

大模型推理引擎经过一年多发展，进入了一个关键的调整期。一方面，针对定制集群的分离式架构出现，很多业务方自己定制更复杂的并行和调度方案。另一方面，LLM的用法更加复杂，催生了LLM Programs使用范式。此外，非NVIDIA的NPU如雨后春笋般涌现，它们独特的硬件特性亟待新的系统架构来充分挖掘与利用。在这一背景下，以vLLM为代表的开源LLM推理引擎正面临着前所未有的进化压力。而SGLang此次的升级，不仅从框架层面揭示了vLLM仍有巨大的提升潜力，也对LLM场景需求进行了一些探索，值得大家关注。

2024-09-11 20:26:13 885

空空如也

空空如也