小马不会过河-CSDN博客

原创智谱AI “着急”大模型商业化

虽然八字刚有一撇，但智谱AI概念股的光环，已经让豆神教育连续两日涨停。10月25日，豆神教育发布公告称，公司将与北京智谱华章科技有限公司和海南何尊网络科技有限公司签署《战略合作框架协议》，成立合资公司专注于AI教育产品的技术研发及销售。合资公司认缴注册资本5亿元，其中豆神教育出资比例70%，智谱华章出资比例25%，何尊网络科技出资比例5%，三方都以现金方式出资。在公告中，豆神教育也简要概述了交易目的，以及对公司的影响。

2024-11-03 10:45:00 245

原创比GraphRAG还好的LightRAG到底是何方神圣？

抽象查询更具概念性，涵盖更广泛的主题、摘要或总体主题，不直接与特定实体相关。抽象查询的一个示例是，“人工智能如何影响现代教育？为了适应不同的查询类型，LightRAG 在双层检索范式中采用了两种不同的检索策略。确保了特定和抽象的查询都得到有效处理，使系统能够根据用户需求提供相关响应。•。

2024-11-02 10:45:00 620

原创惊呆了！LLM有一半的注意力层是多余的？

一项新的研究发现，大型语言模型（LLM）中的可以被删除，而几乎不会影响模型性能。这一发现可能会改变我们对Transformer架构的理解。

2024-11-01 22:15:22 551

原创预训练几何GNN进行抗体亲和力成熟

一篇新发表的NC文章。本文提供了GearBind进行亲和力成熟，使用了多维的图结构，多尺度的信息传递和大规模蛋白质结构数据的对比学习，在SKEMPI数据集和独立测试集上都表现良好。EC50可以提高17倍。在体内，抗体的亲和力成熟主要靠突变和克隆选择，体外一般需要筛选，建库扫描也很贵，CDR区大概50-60个氨基酸，前人研究认为需要多个点突变才能成熟，没办法组合，数千个突变跑MD也太慢。机器学习方法不能捕捉原子级相互作用，并且突变蛋白相互作用数据库才几千条数据几百个蛋白，不够。

2024-11-01 22:14:36 632

原创 LLMs 入门实战系列大全：LLMs应用、领域大模型介绍、大模型常见面经汇总

ChatGLM2-6B[【ChatGLM2-6B 入门】清华大学开源中文版 ChatGLM-6B 模型学习与实战]更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%）、BBH（+60%）等数据集上的性能取得了大幅度

2024-11-01 21:53:53 542

原创 Agent应用爆发，别卷了！

今天给家人们分享一个新闻稿，关于Google和Microsoft互卷Agent应用的信息。在2023年9月24日，谷歌云（Google Cloud）公布了与客户合作的六个主要领域的AI Agent，这些领域包括客户服务、员工赋能、代码创建、数据分析、网络安全以及创意构思与制作，同时还展示了185个行业领先的AI应用案例。不到一个月后，微软于10月21日宣布在Dynamics 365中推出了十个新的自主Agents，旨在提升销售、服务、财务和供应链团队的能力。

2024-10-31 20:35:04 946

原创【IEEE SENSORS JOURNAL】基于分层序列生成网络的质量预测多尺度动态特征学习

在工业过程中，长短期记忆（LSTM）通常用于软传感器的时间动态建模。由于连续的物理和化学反应，过程数据在不同时间尺度下通常具有各种时间相关性。然而，LSTM模型只能提取特定时间尺度的动态特征，这影响了特征学习能力和建模精度。本文提出了一种新的分层序列生成网络（HSGN），用于使用大量未标记的软测量过程数据挖掘多尺度动态特征。为了提取多尺度动态特征进行质量预测，过程数据以不同的采样率重新采样，然后用于在不同时间尺度上预训练相应的自学习LSTM模型。

2024-10-31 20:33:01 918

原创如何使用ChatGPT撰写医学文献综述：提示词与参考文献

当您使用 ChatGPT 撰写文献综述时，第一步涉及使用 ChatGPT 来定义您的研究问题或假设。AI 模型能够对您所在领域的研究现状进行总结，这可以提供全面的理解，尤其是对于系统评价或研究论文。例如，通过输入与您的研究主题相关的提示，ChatGPT 可以生成类似人类的文本，总结先前的研究并突出显示相关文献。在文献综述过程中有效使用 ChatGPT 的一个内幕提示是利用其自然语言处理能力来识别相关关键字。这些关键词对于非英语母语人士或研究领域的新手来说至关重要，因为它们简化了对相关学术写作的搜索。

2024-10-31 20:31:16 605

原创港中文、UCL、武大联手攻关！NeurIPS 2024 全新多模态情绪分析模型，精准应对不完整数据挑战！

多模态情绪分析 (MSA) 领域最近出现了一个新兴方向，旨在解决数据不完整问题。认识到语言模态通常包含密集的情绪信息，文中将其视为主导模态，并提出一种新的语言主导抗噪学习网络 (LNLN)来实现稳健的 MSA。所提出的 LNLN 具有主导模态校正 (DMC) 模块和基于主导模态的多模态学习 (DMML) 模块，通过确保主导模态表示的质量来增强模型在各种噪声场景中的稳健性。与文献中现有的评估相比，LNLN 始终优于现有基线，提供了额外的统一性、透明度和公平性。

2024-10-30 20:39:35 862

原创首个o1复现开源RL框架OpenR来了，UCL、上交等高校联合团队发布

o1 作为 OpenAI 在推理领域的最新模型，大幅度提升了 GPT-4o 在推理任务上的表现，甚至超过了平均人类水平。o1 背后的技术到底是什么？OpenAI 技术报告中所强调的强化学习和推断阶段的 Scaling Law 如何实现？为了尝试回答这些问题，伦敦大学学院（UCL）、上海交通大学、利物浦大学、香港科技大学（广州）、西湖大学联合开源了首个类 o1 全链条训练框架「OpenR」，一个开源代码库，帮助用户快速实现构建自己的复杂推断模型。

2024-10-30 20:38:35 674

原创 NeurIPS 2024 | 字节联合华师提出统一的多模态文字理解与生成大模型

在人工智能领域，赋予机器类人的图像文字感知、理解、编辑和生成能力一直是研究热点。目前，视觉文字领域的大模型研究主要聚焦于单模态生成任务。尽管这些模型在某些任务上实现了统一，但在 OCR 领域的多数任务上仍难以达成全面整合。例如，Monkey 等视觉语言模型（VLM）擅长文字检测、识别和视觉问答（VQA）等文本模态生成任务，却无法胜任文字图像的生成、抹除和编辑等图像模态生成任务。反之，以 AnyText 为代表的基于扩散模型的图像生成模型则专注于图像创建。

2024-10-30 20:36:16 627

原创使用 Ollama、Swarm 和 DuckDuckGo 构建本地 AI 新闻聚合器

在当今快节奏的世界中，跟上特定领域最新新闻的步伐可能会很具挑战性。如果我们能够利用生成式AI和代理的力量，创建一个完全在本地机器上运行的个性化新闻聚合器呢？在本文中，我们将探讨如何使用Ollama的Llama 3.2模型、Swarm进行代理编排，以及DuckDuckGo进行网络搜索来构建这样的系统。随着大型语言模型的兴起，我们现在能够在个人电脑上运行复杂的AI系统。这为创建针对我们特定需求定制的工具开辟了无限可能。我们的新闻聚合器就是这一潜力的完美例证。Ollama with Llama 3.2: 这是我们

2024-10-29 20:26:51 949

原创 Transformer整新活！加上CNN顶会发文量暴涨，新作推理速度狂飙10倍！

不管是CVPR、AAAI还是NeurIPS其接收量都名列前茅！主要在于，相比单一的CNN或者Transformer模型，该思路融合了CNN的局部特征提取能力、Transformer的全局信息捕捉能力和并行计算能力，能够让模型性能和计算速度齐飞升！代表模型RepViT便实现了性能远超SOTA，且推理速度提高10倍的显著效果！目前该方法在CV、NLP等领域大多的任务中都能使用，创新空间很大。想往该方向发论文的伙伴，可以多关注如何更好地融合两种模型的特征表示、如何优化模型的计算效率和内存占用。

2024-10-29 20:25:44 566

原创幻方 AI DeepSeek 模型背后的万卡集群建设

深度学习（DL）和大型语言模型（LLM）的快速发展对计算能力和带宽的需求呈指数增长。此外，更快的计算芯片和互联的成本也往往很高，这大大增加了高性能计算（HPC）的构建成本。为了应对这些挑战，作者提出了 Fire-Flyer AI-HPC 架构、软硬件协同设计框架及其最佳实践。对于深度学习训练，作者部署了配备 10000 个 PCIe A100 GPU 的 Fire-Flyer2，实现了接近 DGX-A100 的性能，同时将成本降低一半，能耗降低 40%。

2024-10-29 20:24:20 588

原创号称击败Claude 3.5 Sonnet，媲美GPT-4o，开源多模态模型Molmo挑战Scaling law

Molmo，开源多模态模型正在发力！虽然大家一直在期待谷歌、OpenAI 等等拥有无限资金储备和顶尖人才的大厂做出新的 Sota 模型。不过，一家默默耕耘的创业公司 Ai2 发布了一款多模态人工智能模型 Molmo。在下面展示的视频中，我们可以看到 Molmo 就像钢铁侠的「贾维斯」一样万能。想卖自行车，咨询一下 Molmo 的建议，仅靠一张照片，Molmo 就能把自行车的颜色、品牌和二手售价搞清楚，并且帮你写出一句顺口的广告语。

2024-10-28 20:16:15 1010

原创阿里巴巴“通义实验室”突破大模型推理瓶颈，MCoT框架展开在数学推理中的应用

大模型在复杂的数学推理任务中的方法主要集中在多步推理（CoT），即通过逻辑结构和任务特定动作实现多步推理。但是随着推理步骤的增加，多步推理的方法变得难以管理，并且对计算资源的需求也大幅增加。这不仅影响了推理的效率，也限制了大模型在处理更复杂的推理任务时的能力。多步推理的局限性主要体现在两个方面。首先推理步骤的增多会导致累积误差或“幻觉”，即模型在某一步骤中产生错误，且该错误在后续步骤中得不到纠正，反而会放大。其次，多步推理涉及处理大量的推理痕迹，这对计算资源提出了更高的要求，推理过程变得低效且难以管理。

2024-10-28 20:15:10 826

原创 Neural Networks | 基于渐进特征融合的分层注意力网络在面部表情识别的应用

在实际环境中，面部表情识别面临许多挑战，如姿态变化、遮挡和光照变化等干扰因素。注意力机制可以通过增强与表情相关的信息并抑制无关信息，来缓解这些问题。然而，大多数方法在不同网络层的特征张量上使用相同的注意力机制，忽视了这些张量在空间和通道维度上的动态变化。为了解决这个问题，本文提出了一种用于面部表情识别的分层注意力网络以及渐进特征融合方法。

2024-10-28 20:14:01 878

原创小样本学习Nature+1！搭配Transformer略施小计，性能赶超GPT-4o

小样本学习又整新活了！与Transformer结合，多篇成果登顶Nature！模型MLC更是赶超GPT-4o，达到了与人类相媲美的系统泛化能力！且比传统模型，错误率直降7倍！实际上，一直是研究的热门！主要在于，小样本学习对我们在有限的数据资源下，训练出高性能模型至关重要。但也面临数据稀缺、模型过拟合、泛化能力不足等问题。而Transformer则具有强大的信息建模和表示能力，能够从有限数据中捕捉更多有用信息，并能在不同数据之间有效迁移。两者结合，能够优势互补，提高模型性能、泛化能力、加速训练和推理！

2024-10-27 10:45:00 797

原创 Anthropic官方深入探讨prompt工程 | 全文脱水中文版

本文是2024.9.6Anthropic官方在youtube的一个播客全文的“脱水”版，

2024-10-26 20:38:11 951

原创 Data+AI━━终于学明白了数据治理

数据治理，一听起来好像是技术人员才会关心的事情，但实际上它和每个企业的日常运营息息相关。简而言之，数据治理是指企业如何有效管理和使用他们所有的数据资产，以确保数据的准确性、安全性、合规性，并能从中挖掘出有价值的商业洞察!

2024-10-26 20:12:16 771

原创 Grounding DINO：多模态 | 零样本 | 开放集目标检测

本文提出了一种名为 Grounding DINO 的开放集目标检测器，通过将基于Transformer的检测器 DINO 与基础预训练结合，实现能够根据人类输入（如类别名称或指代表达）检测任意物体的功能。开放集目标检测的关键解决方案是将语言引入闭集检测器，以实现开放集概念的泛化。为了有效融合语言和视觉模态，我们从概念上将闭集检测器分为三个阶段，并提出了一种紧密融合的解决方案，包括特征增强器、语言引导的查询选择和跨模态解码器。

2024-10-25 16:59:48 1038

原创使用 ChatGPT 进行多模态实体情感分析的实证研究：通过实体感知对比学习改进情境学习

论文推介期刊：INFORMATION PROCESSING & MANAGEMENT（中科院分区SCI 1区，JCR分区Q1）标题：使用 ChatGPT 进行多模态实体情感分析的实证研究：通过实体感知对比学习改进情境学习多模态实体情感分析（MEBSA）是一项复杂的情感分析任务，要求从多模态输入（如文本和图像）中识别实体、它们的类别以及相关的情感。以往的研究通常依赖于大量标注数据，而本研究探索了上下文学习（ICL）减少数据标注需求的潜力。

2024-10-25 16:58:54 989

原创这个平替 Tableau 的国产开源项目，火了！

不论是个人还是企业，要想做出成熟而精准的决策，往往都离不开数据的辅助。一款好的 BI 工具（Business Intelligence，商业智能）可以帮助人们查看并理解自己的数据，提供能够支持其行动决策的数据洞察。作为一款诞生超过 20 年的软件，Tableau 凭借人人可用的直观数据可视化分析，打破了商业智能行业的原有格局，持续引领商业智能市场的发展。

2024-10-25 16:57:01 1038

原创大模型面经—RAG工程实践经验总结

虽然RAG工程整体有很多论文、算法和方法论，但在实际使用过程中，当数据量大了RAG很容易出现不可控的问题，本篇就针对实践过程中遇到的问题总结面经进行分享，看看能不能给大家提供一些帮助。下面是一个快捷目录。下面是答案。：让被检索的内容与query之间的相关性更加紧密特别是术语更新较快且比较罕见的领域，可以针对性地进行微调。：基于上下文动态调整embedding当然这只是个发论文的思路，工程落地的时候这块还是有待验证的。：直接把所有检索结果给大模型可能会超出上下文窗口限制，内容过多噪声也可能比较多。

2024-10-24 20:37:27 629

原创 NeurIPS2024 | OCR-Omni来了，字节&华师提出统一的多模态文字理解与生成大模型

TextHarmony 作为 OCR 领域的多功能多模态生成模型，成功统一了视觉文本理解和生成任务。通过创新的 Slide-LoRA 技术，它有效解决了多模态生成中的模态不一致问题，在单一模型中实现了视觉与语言模态的和谐统一。TextHarmony 在视觉文字感知、理解、生成和编辑方面展现出卓越性能，为复杂的视觉文本交互任务开辟了新的可能性。这项研究不仅推动了 OCR 技术的进步，也为人工智能在理解和创造方面的发展提供了重要参考。

2024-10-24 20:35:55 560

原创 Ollama 结合 Open-WebUI 本地运行大模型

Ollama 是一个开源框架，专门设计用于在本地运行大型语言模型（LLM）。简化部署：Ollama 旨在简化在 Docker 容器中部署 LLM 的过程，使得管理和运行这些模型变得更加容易。安装完成后，用户可以通过简单的命令行操作启动和运行大型语言模型。例如，要运行 Gemma 2B 模型，只需执行命令。捆绑模型组件：它将模型权重、配置和数据捆绑到一个包中，称为 Modelfile，这有助于优化设置和配置细节，包括 GPU 使用情况。支持多种模型。

2024-10-24 20:34:49 1087

原创含所有模型代码！机器学习、生成式AI和深度学习时间序列模型

Content文章标题：Predicting Time Series Data with Machine Learning, Generative AI, and Deep Learning地址：https://medium.com/@palashm0002/predicting-time-series-data-with-machine-learning-generative-ai-and-deep-learning-36bf99ad6f5e。

2024-10-23 20:22:51 790

原创 LLM推理能力暴增8%，秘密在于这个“奖励“ | 群蜂智能突袭！多个LLM竟能像蜜蜂一样集体进化

大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期觉得比较有意思的论文：1、LLM推理能力暴增8%，秘密在于这个"奖励"2、群蜂智能突袭！多个LLM竟能像蜜蜂一样集体进化在解决复杂数学问题时，LLM像人类一样需要一步步推理。但如何让AI在这个过程中"更聪明"？研究人员提出了一个巧妙的方案：不要只关注最终答案对错，而要在每一步都给LLM合理的反馈，就像老师在学生解题时及时给予指导一样。

2024-10-23 20:19:27 942

原创 RAG遇上知识冲突，Google祭出终极大招~

论文笔记分享，标题：Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models，来自google cloud在RAG的时候，再好的recall + rerank + 筛选策略，都会出现知识冲突，或query无关的候选知识的情况。文中称这种现象为“不完美检索”。通常，当检索精度不低于 20%时，RAG 是有帮助的。

2024-10-22 20:18:14 1056

原创 GraphRAG太贵? 港大打造LightRAG，让大模型RAG问答成本降低几十倍

检索增强生成（RAG）系统通过整合外部知识源，增强了大语言模型（LLMs）的功能，使其能够根据用户需求生成更精准且上下文相关的响应。然而，现有的 RAG 系统存在一些明显的局限性，例如对平面数据表示的依赖以及缺乏足够的上下文感知能力，这导致答案往往碎片化，无法充分捕捉复杂的实体间相互依赖关系。尽管 GraphRAG 引入了图结构以改善文本索引和检索过程，但也带来了较高的模型开销。为了解决这些问题，我们提出了 LightRAG。该创新框架采用双层检索系统，提升了低层与高层知识发现的综合信息检索能力。

2024-10-22 20:17:17 1034

原创最新开源：DeepSeek发布Janus，统一多模态理解！复旦、百度联手打造全新AI模型Hallo2！

论文链接：代码链接：来自 DeepSeek 和香港大学的研究团队提出了。之前的研究通常依赖单一的视觉编码器来完成这两项任务，如 Chameleon。然而，由于多模态理解和生成所需的信息粒度不同，这种方法可能导致性能不理想，尤其是在多模态理解方面。为了解决这个问题，研究团队将视觉编码解耦为不同的路径，同时仍然利用单一的、统一的 Transformer 架构进行处理。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。例如，多模态理解和生成组件可以独立选择最合适的编码方法。

2024-10-22 20:15:34 637

原创节省99.7%训练成本！斯坦福、伯克利新作揭示多模态大模型的视觉表示定律

当前的多模态大模型（MLLMs）取得了显著进展。然而，选择合适的 vision encoder 一直是一个经验性很强的过程，通常来讲研究人员需要对特定的 vision encoder 进行 pretrain+finetune，然后在多模态的 benchmark 上进行 performance 的测量。这种方法开销很大，且未能深入探讨到底什么样的视觉特征会更好，因为 pretrain+finetuning 两个阶段耦合在了一起。

2024-10-21 20:34:39 688

原创 LlamaCoder：一款基于Llama 3.1 405B的全新开源AI编程助手

LlamaCoder 是 Together AI 推出的一款开源网络应用，它基于Meta最新的开源4050亿参数语言模型 Llama 3.1 405B，通过文本提示生成完整的应用程序。链接：https://github.com/Nutlope/llamacoderTogether AI 是一家位于旧金山的公司，专注于生成式人工智能（AI）。它为构建、训练和运行AI模型提供服务，包括私人数据处理和专用GPU集群。

2024-10-21 20:33:27 691

原创 Transformer中的编码器详解

Transformer中编码器的构造和运行位置如下图所示，其中编码器内部包含多层，对应下图encoder1…encoder N，每个层内部又包含多个子层：多头自注意力层、前馈神经网络层、归一化层，而最关键的是多头自注意力层。

2024-10-21 20:32:08 961

原创多文档RAG｜一个结构化数据提取工具：Knowledge Table

KnowledgeTable(知识表)是一款 WhyHow.AI开源软件包，旨在简化从非结构化文档中提取和探索结构化数据（图结构）的过程。通过自然语言查询界面实现创建表格和图表等结构化知识表示。凭借可定制的提取规则精细的格式选项以及在用户界面中显示的数据来源追溯功能，KnowledgeTable能够适应很多应用场景。KnowledgeTable的目标是为商业用户提供类似电子表格的熟悉界面，同时为开发者提供灵活且高度可配置的后端支持。无论您处理的是几个文件还是上百份文档，都确保了与现有RAG应用的无缝集成。

2024-10-21 20:29:25 657

空空如也

空空如也