- 博客(788)
- 收藏
- 关注
RSS订阅原创 2024年重磅综述：探索深度多模态数据融合的学术前沿动态！
多模态人工智能 (Multimodal AI) 通常涉及各种类型的数据（例如，图像、文本或从不同传感器收集的数据）、特征工程（例如，提取、组合/融合）和决策。随着架构变得越来越复杂，多模态神经网络可以将特征提取、特征融合和决策过程集成到一个模型中。这些过程之间的界限越来越模糊。融合所基于的传统多模态数据融合分类法（例如，早期/晚期融合）已不再适合现代深度学习时代。编码器-解码器方法注意力机制方法图神经网络方法生成神经网络方法和其他基于约束的方法。
2024-11-01 09:43:12
785
原创 打造自己的RAG解析大模型：(可商用)智能文档分析解决方案！
经过实际体验，PaddleX 的安装和发布确实比以往的开源项目 PaddleOCR 要简便许多。完成安装后，您不仅获得了 PaddleOCR 的功能，还同时集成了六大模块，包括。
2024-10-31 21:28:46
982
原创 域自适应再度封神！“飞”上多个A会！热度拉满！模型性能狂提76.55％！
简直是顶会“收割机”，光是CVPR24的收录，就有19篇！新成果DoRM，更是在少样本生成任务中取得惊艳效果，性能狂飙76.55％！主要在于：域自适应能够将在一个领域（源领域）学到的知识，应用到另一个不同的领域（目标领域），即使这两个领域在数据分布上存在显著的差异。这不仅能够提高模型的泛化能力，还能缓解数据标注的困境！一方面，在实际中，源领域和目标领域之间的分布差异是不可避免的，传统模型通常表现不佳。通过域自适应，则能使模型更好地适应目标域数据。
2024-10-31 21:26:04
904
原创 微软震撼推出全新多模态操作系统Agent，引领技术革新
该文介绍了WindowsAgentArena，这是一个用于评估多模态操作系统（OS）智能体的全新基准测试平台，专门针对Windows操作系统环境。当前的智能体在诸如网页导航、编程和问答等特定领域已经展示了强大的能力，但在。
2024-10-30 11:07:34
693
原创 微软发布全新多模态操作系统——Agent，开启智能交互新篇章
该文介绍了WindowsAgentArena，这是一个用于评估多模态操作系统（OS）智能体的全新基准测试平台，专门针对Windows操作系统环境。当前的智能体在诸如网页导航、编程和问答等特定领域已经展示了强大的能力，但在。
2024-10-30 10:57:49
919
原创 CVPR 2024重大进展：交替单模态适应策略推动多模态表示学习，破解模态惰性与遗忘问题！
现有的多模态学习方法在学习过程中，某些模态似乎比其他模态更占主导地位，导致性能不佳。为了应对这一挑战，文中提出了 MLA（交替单模态适应的多模态学习）。MLA 通过将传统的联合多模态学习过程转变为交替单模态学习过程来重构传统联合多模态学习过程，从而最大限度地减少模态之间的干扰。同时，它通过共享头捕获跨模态交互，该共享头在不同模态之间进行持续优化。该优化过程由梯度修改机制控制，以防止共享头丢失先前获取的信息。在推理阶段，MLA 利用基于测试时间不确定性的模型融合机制来整合多模态信息。
2024-10-29 11:58:44
685
原创 落地分享：来看 UFH AI 医疗大模型如何助力国际化诊疗场景
本次的行业落地分享的是来自自研的，该自研模型在临床应用中得到专家和临床医生的广泛好评。**和睦家医疗（UFH）**作为进入中国的首批外资医院，拥有深厚的国际化医疗发展历史和规模化外籍医疗团队，为全球各地患者提供_多语言_沟通及诊疗服务。据统计，医院内部英文医疗数据占比超过50%，西班牙语、法语等其他语言均有涉及。此外，医疗机构的英文病历还需要定期翻译为中文病历，提交给卫健部门进行定期审查，通过医疗文书准确传达病情、治疗方案和护理指导至关重要。
2024-10-29 10:31:55
901
原创 轻松部署Dify并实现Ollama与Xinference集成教程！
Dify是一款开源的大语言模型（LLM）应用开发平台，旨在帮助开发者快速构建和部署生成式 AI 应用。融合 Backend as Service 和 LLMOps 理念：Dify 将后端即服务（Backend as Service）和 LLMOps 的理念结合，使开发者能够快速搭建生产级的生成式 AI 应用。支持多种模型：Dify 支持数百种专有和开源的 LLM 模型，包括 GPT、Mistral、Llama3 等，能够无缝集成来自多家推理提供商和自托管解决方案的模型。直观的 Prompt 编排界面。
2024-10-28 11:17:49
400
原创 私有化部署体验 Dify！收藏这一篇就够了！
是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。
2024-10-28 11:10:13
1744
原创 2024年中国超级智能计算力枢纽建设白皮书——全面解析智算中心构建方案
智算中心建设通过领先的体系架构设计，以算力基建化为主体、以算法基建化为引领、以服务智件化为依托，以设施绿色化为支撑，从基建、硬件、软件、算法、服务等全环节开展关键技术落地与应用。一、体系架构（一）总体架构图8 智算中心总体架构智能算力中心建设白皮书，重点围绕基础、支撑、功能和目标四大部分，创新性地提出了智算中心总体架构。其中，基础部分是支撑智算中心建设与应用的先进人工智能理论和计算架构；支撑部分围绕智算中心算力生产、聚合、调度、释放的作业逻辑展开；功能部分提供算力生产供应、数据开放共享、智能生态建设和产业创
2024-10-26 11:03:19
919
原创 GraphRAG揭秘：一篇文章带你了解其原理及为何能在众多技术中脱颖而出
GraphRAG 是 RAG 的高级版本，它结合了图结构数据。传统的知识库通常是由一组独立的文档组成的，每个文档之间没有显式的连接或关系。而在 GraphRAG 中，知识库被表示为一个由实体（例如人物、地点、事件等）和这些实体之间的关系组成的网络。这样，信息就不再是孤立存在的，而是通过这些关系相互连接和关联起来的。这种表示方法更能够反映现实世界中的复杂关联，使得系统可以更好地理解和利用这些信息。GraphRAG 是一种结构化、层次化的 RAG 方法。
2024-10-26 10:52:02
965
原创 Agent遇上4万个工具？一个token搞定！
今天给家人们分享一篇论文，看内容挺实用的，并且代码开源（用过的可以评论区留言~）。随着大型语言模型（LLMs）的发展，它们无法与外部工具直接交互以自主执行任务，这仍然是一个关键的限制。传统方法依赖于将工具描述作为上下文进行输入，这受到上下文长度的限制，并且需要单独的、通常效率不高的检索机制。。这使得LLM能够生成工具调用和参数作为其下一次token预测能力的一部分，无缝结合工具调用和语言生成。我们的框架允许LLM访问和利用大量的工具，而无需进行额外的检索步骤，从而大大提高了性能和可扩展性。
2024-10-25 11:59:47
831
原创 大模型算法工程师经典面试题————如何让 LLM 基于问题和 context 生成高质量的回答？
本人是某双一流大学硕士生，也最近刚好准备参加 2024年秋招，在找大模型算法岗实习中，遇到了很多有意思的面试，所以将这些面试题记录下来，并分享给那些和我一样在为一份满意的offer努力着的小伙伴们！！！
2024-10-25 11:34:34
1215
原创 大模型学习路径 | 1：开篇-AI 领域的璀璨星辰
大模型英文表述为 “Large - scale Model” 或 “Big Model”，在人工智能领域也可能是 “Large - scale AI Model”（大规模人工智能模型）或 “Big AI Model”，有时也称为 “foundation model”（基础模型）。它是人工智能领域具有突破性的模型，以海量参数（Parameters）为显著特征。与传统机器学习模型相比，大模型优势明显。
2024-10-24 10:19:22
893
原创 探索多模态大模型的最佳技术路线
在本文中，详细介绍了构建视觉语言模型（VLMs）的完整教程，强调了架构、数据和训练方法在开发流程中的重要性。通过对当前最先进方法的深入分析，突出了各种设计选择的优缺点，并提出了改进模型的潜在研究方向。接着，本文详细阐述了构建Idefics3-8B的实际步骤，这是一种在文档理解任务中表现显著提升的VLM，特别是通过引入Docmatix数据集实现了这一进步。通过公开发布模型和数据集，作者希望为下一代负责任且开放的VLMs的发展做出贡献。
2024-10-24 10:17:31
561
原创 2024 年最值得尝试的 8 个 AI 开源大模型
本文只提及了 8 个值得尝试的开源 LLM，如果想要学习和尝试更多的 LLM，可以去 HuggingFace 上查看，这里集结了大量的优秀模型。初期不建议投入大量资金到硬件设施上，个人学习的话，完全可以从小型的模型开始（比如 Llama 3.1 的 8B 模型、Phi-2 的 2.7B 模型），熟悉之后再选择更大的模型。
2024-10-23 14:31:52
1094
原创 央国企，开始猛扑大模型！（附30家名单）
大模型，热热闹闹好一阵了现在有人站出来泼冷水了很多人都提出了一个灵魂拷问↓↓2024年，我们观察到一个令人振奋的趋势央国企招采中，大模型项目开始变多一出手就是几百万上千万央国企开始加速布局大模型他们成为推动大模型落地的强劲动力我们来看一下30家央国企已成功发布的大模型↓中国海油10月14日发布↓：针对海上油田稳产增产、安全钻井、海工制造、设备维护、LNG（液化天然气）贸易、油气销售等场景，构建数据驱动、业务协同的新模式，进一步提升产业数智化水平。
2024-10-23 11:56:48
704
原创 openMind+LLaMAFactory：Qwen1.5-7B 微调及推理昇腾实践
本文用到的数据集为 LLaMA-Factory 自带的 identity 和 alpaca_en_demo，对 identity 数据集进行如下全局替换即可实现定制指令：{{name}} 替换为 Ascend-helper{{author}} 替换为 Ascend更多自定义数据集的构建请参考官方数据集构造指引(https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md)。
2024-10-22 10:41:49
1008
原创 大模型的崛起为AI Agent注入了“聪明的大脑”
AI Agent框架是一种软件平台，旨在简化AI Agent的创建、部署和管理。它为开发人员提供了预设组件、抽象概念和工具，使得复杂的人工智能系统开发变得更加高效。
2024-10-21 11:00:15
972
原创 深度解析：大模型LLM微调技巧与实践心得总结
大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目&数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后，
2024-10-18 10:46:55
694
原创 华佗GPT-2医疗巨擘：在医学问答领域超越GPT-4，顺利通过2023年国家执业药师资格考试
华佗GPT-2是由由深圳市大数据研究院和香港中文大学（深圳）联合推出的医疗系列大模型。此模型结合了最先进的深度学习技术和大规模的医疗专业数据集，旨在为用户提供准确、专业的医学知识问答服务。华佗GPT-2通过融合ChatGPT生成的“蒸馏数据”和真实世界医生回复的数据，能够模仿医生的诊断能力，提供有用的医学信息。
2024-10-18 10:42:23
772
原创 Meta视频生成论文解读
一、预训练预训练数据预训练数据集由亿级视频-文本对和十亿级图像-文本对组成。采用了与 (Dai et al., 2023) 类似的图像-文本数据筛选策略，本节中专注于视频数据的筛选。最初的数据池包括4秒至2分钟长的视频，涵盖了不同领域的概念，如人类、自然、动物和物体。我们的数据筛选流程产生了最终的预训练集，每个剪辑都与一个文本提示配对，每个剪辑时长在4秒至16秒之间，采用单次拍摄相机和非平凡运动。我们的数据筛选流程如图9所示。
2024-10-17 11:38:09
716
原创 如何从头训练大语言模型: A simple technical report
自8月底训好自己的1.5B的LLM后，一直都没有发布一个完整的技术报告，不少小伙伴私信我催更，千呼万唤始出来。：搞定全流程之后，对LLM确实豁然开朗不少，不过，发现要学的新东西更多了…尤其是这三个月，qwen, meta, anthropic等等发布的好文章实在太多了，真不想落下，没时间"反刍"当年的剩饭。：对reasoning更感兴趣了(其实训1.5B模型的初衷，就是为了给将来从pretrain开始做reason的增强打基础)。：9月保研季，保研的事情忙的焦头烂额，各种预推免与考核…还好现在终于有书读了。
2024-10-17 11:36:23
604
原创 AI大模型应用入门实战与进阶：构建你的第一个大模型：实战指南
AI大模型是指具有大量参数和复杂结构的人工智能模型。这些模型通常需要大量的计算资源和数据来进行训练，以实现高性能的预测和生成能力。近年来，随着计算能力的提高和数据量的增加，AI大模型在各种任务中取得了显著的成果，如自然语言处理、计算机视觉和强化学习等。AI大模型在近年来取得了显著的进展，但仍面临许多挑战和发展趋势，例如：模型压缩与加速：随着模型规模的增加，计算资源和存储需求也在不断增加。未来的研究需要关注如何压缩和加速大模型，以适应更多的应用场景。
2024-10-16 10:50:18
554
原创 大模型（LLM）学习路线和知识体系，收藏这一篇就够了！
原谅我的后知后觉，才开始从头写，我是已经上了一阶段大模型的课，也搜集了些资料，并自己做了小部分实践，回过头来，才想开始整理些文章。起初，大家都在写，都在发，我那会在焦虑。自chatgpt爆火以来，AI技术又被广泛关注，国内外各大厂商也纷纷布局，作为我们每一个普通人，也无不时刻感受着AI一波又一波的冲击。尤其是作为程序员的我，相信绝大多数程序员也有和我一样的感受，从一开始的新奇，到焦虑，到试图去了解他，到去尝试，并致力于应用。
2024-10-16 10:31:48
1275
原创 OpenAI开源多Agent框架Swarm，熬夜实测整理出几大亮点！
轻量级多代理编排框架专注于代理协调和执行使用代理和切换作为关键原语由 Chat Completions API 提供支持，通话之间无状态。
2024-10-15 10:38:04
837
原创 全面解析：大模型技术从入门到精通的学习路径指南
经验总结：定期回顾学习过程，总结技术要点和实战经验跨学科融合：探索大模型在其它领域(如金融，法律，医疗等)等应用，扩展知识广度如果用一句话总结就是，学习——实践——再学习——再实践。。
2024-10-14 11:22:18
1584
原创 大模型学习路径全面解析——基座模型构建与部署攻略
LLM基座官方文档如下（科学上网）：ChatGLMBaichuanQwen提示：以下是本篇文章正文内容，下面案例可供参考。
2024-10-14 11:19:07
705
原创 大模型学习完整路径（一站式汇总），从零基础到精通！新手友好级指南
如果读者朋友不想深入学习大模型，则了解提示词的使用原则也可以了（可参考我的文章：[10分钟学会大模型提示词]。要是既不想深入学习，又要做大模型相关的项目，则对于工程同学来说，学习RAG也能把大模型玩转起来（可参考：[大语言模型RAG落地方案]。下面的步骤写给想系统性学习大模型的朋友们。（后续打算写一个大模型学习系列，详细介绍相关知识点，欢迎关注）先来一张整体结构图，越是下面部分，越是基础：需要了解深度学习的基本原理和常见术语，如神经网络、梯度下降、反向传播、监督学习、无监督学习、分类、回归、聚类等。
2024-10-12 11:09:47
1383
原创 AI产品经理基础学习指南，从入门到精通！学不会我退出！
AI产品经理，顾名思义，就是负责人工智能产品的规划、设计、开发和迭代的专业人士。他们不仅要对市场有敏锐的洞察力，还要对技术有深入的理解，能够将复杂的AI技术转化为用户友好的产品。
2024-10-12 10:24:38
873
原创 学习大模型开发，需要具备人工智能或深度学习理论基础吗？
学以致用，问题才是学习的真正驱动力最近发表了几篇关于学习人工智能技术的文章，然后就有人问没有深度学习的基础可以学习人工智能吗？答案是肯定的，学习人工智能技术并不一定非要懂得深度学习，虽然深度学习是大模型的基础。怎么学习大模型？很多人学习大模型技术，第一步就卡在了入门上，也就是说不知道应该怎么学习人工智能技术。可能在很多人的认知中，学习人工智能就要学习机器学习和深度学习，面对着复杂的机器学习模型以及复杂的算法实现，直接导致很多人的人工智能学习之路自此中断。
2024-10-11 10:56:56
631
原创 大模型应用开发初探 : 基于Coze创建Agent
最近学习了一门极客时间的课程《AI Agent入门实战》，了解了如何在Coze平台上创建AI Agent，发现它对我们个人（C端用户）而言十分有用，分享给你一下。Coze（扣子）是字节跳动公司开发的新一代AI应用开发平台，使用这个AI应用开发平台，无论你是否有编码基础，都可以快速搭建基于大语言模型的各类AI Bot，还可以将Bot发布到其他渠道。
2024-10-11 10:49:18
1091
原创 AI产品经理 | 入行AI的必备知识
随着大模型技术的快速发展，市面上涌现出了大量的大模型产品岗位，那么想要进入AI行业的产品经理同学，需要提前做好哪些准备工作呢？这篇文章里，作者总结了入行AI的必备知识，包括市场调研、产品底层逻辑等内容，一起来看。AI大模型从去年11月开始到现如今，已经非常火热，无论大厂还是创业新星都在为AI的落地搭建产品架构，并迅速跟进落地铺量，随着业务扩建，市面上也涌现出大量的大模型产品岗位。对于目前在看机会的如果想要入AI坑的话，产品经理要开始做哪些方面的准备工作呢？
2024-10-10 11:34:57
908
原创 AIGC产品经理面试，看这里！送你20道高频面试题及分析PDF文件！
世界五百强产品出身，从0到1搭建公司IT团队，现任深圳某互联网公司IT负责人，课程讲师。愿景：希望可以让你在这里从对产品经理的一无所知到至少能找份相关工作！聊点AI面试的，这两年最火的产业，分享20道。
2024-10-10 11:33:25
1612
原创 如何微调LLM大模型？看这一篇就够了！
微调LLMs是一门艺术与科学的结合，该领域的最佳实践仍在不断发展中。在本篇博文中，我们将突出微调的设计变量，并给出我们迄今为止所见的最佳实践的方向性指导，以在资源受限的情况下微调模型。我们建议使用下面的信息作为制定微调实验策略的起点。
2024-10-09 11:23:00
1060
原创 一份转型大模型产品经理指南
转行做大模型所面临的机会和挑战，以及如何把握和应对，如：转行做大模型所面临的机会主要有：大模型是AI领域的一个重要趋势，具有强大的泛化能力和适应能力，在多个任务和领域上表现出惊人的成就。大模型可以利用海量的数据来学习通用的知识和能力，从而在多个场景和需求上提供高效的解决方案。大模型可以带来更好的用户体验和商业价值，在各个行业和领域中创造更多的创新和变革转行做。大模型所面临的挑战主要有：大模型需要海量的数据和计算资源来训练和运行，对于硬件设备、网络带宽、存储空间等方面有很高的要求。
2024-10-08 11:25:32
1367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人