- 博客(318)
- 收藏
- 关注
RSS订阅原创 终于能把火爆全球的大语言模型LLM学懂了！
这些模型通常由深度神经网络构建而成，这些模型在不同的上下文中可能有不同的大小阈值。例如，对于自然语言处理（NLP）领域，大模型可能指的是包含数十亿到千亿参数的模型，如GPT-3、GPT-4等。对于计算机视觉领域，大模型可能是拥有数亿参数的深度卷积神经网络，如ResNet-152。做为 LLM 的基础模型，这个模型是入门绝对绕不开的。这本书的代码都是进行了注释的，不仅可以让大家快速理解这些代码，还能知道实现的目的以及如何实现的。
2024-07-26 20:12:02
524
原创 国内最强 Ai 智能体，学会超越 99% 的人
Coze（扣子）是一款由字节跳动推出的一站式AI开发平台，它支持用户在短短30秒内无代码生成AI机器人。
2024-07-26 19:58:03
384
原创 Llama3 92页技术报告中文全文详解
Llama 3 的模型架构如图 1 所示。Llama 3 语言模型的开发主要分为两个阶段：语言模型预训练。我们首先将一个大型多语言文本语料库转换为离散的标记，然后在由此产生的数据上预训练一个大型语言模型(LLM)，以执行下一个标记的预测。在语言模型预训练阶段，模型会学习语言结构，并从“阅读”的文本中获取大量有关世界的知识。为了有效地做到这一点，我们进行了大规模的预训练：我们使用8K 标记的上下文窗口，在15.6T 标记上预训练了一个拥有405B 参数的模型。
2024-07-25 22:00:46
651
原创 构建AI大模型应用技术栈有哪些？
随着人工智能技术的飞速发展，AI大模型已经成为推动各行各业技术革新的关键力量。本文将深入探讨AI大模型的核心技术栈的构建，以及不同技术组件的关键作用。AI大模型应用的核心技术栈各组件的关键作用基于大模型的应用和普通应用的区别。
2024-07-25 21:35:14
455
原创 使用RAG技术构建企业级文档问答系统之基础流程
本文是本系列（使用RAG技术构建企业级文档问答系统）的第二篇，将介绍检索增强生成（Retrieval Augmented Generation，简称RAG）最基础流程。所谓检索增强生成，是大语言模型兴起之后发展迅速的一个应用领域，简单说就是，这项技术，可以根据用户输入的问题，从文档（如PDF、Word、PPT、TXT、网页等）中自动检索跟问题相关的文本片段（或称为知识片段、上下文），然后将一段指令、用户输入的问题、文本片段拼装成一个Prompt（也就是大语言模型的输入），让大语言模型生成一个回答。
2024-07-24 20:43:21
522
原创 基于 NebulaGraph ，构建属于你的 Graph RAG
自 2023 年 8 月和共同推出 [Graph RAG]以来，凭借着 **LLM（大语言模型）**和 **RAG（检索增强生成）**的发展势头，在业界掀起了一场革命。通过本文，我们将向你介绍什么是 Graph RAG，为什么它具有革命性，以及如何构建你的Graph RAG，来利用数据的上下文与 NebulaGraph 回答复杂的多部分问题。>>>Graph RAG 能够将知识图谱与大语言模型（LLM）结合使用，从而为搜索引擎提供更全面的上下文理解。
2024-07-24 20:05:30
776
原创 如何快速构建个人 AI 知识库？
分享我的整体思考过程。我认为具体方法因人而异，因为每个人的需求和情况都各不相同——唯有思路是可以互相借鉴的。以下是出发点及其解决策略：首先，面对信息过载，我们无法逐一细致地吸收。因此，需要人工智能的辅助，通过总结和提炼，帮助我们快速、大致地把握信息。其次，人脑不适合用于记忆，而更适合进行创造性思考。因此，我们需要一个“第二大脑”来存储信息，并依赖AI进行基于语义的检索（除了关键词检索，语义检索能使得工具更加完善）。再次，记笔记是对信息的一种预处理。记笔记的目的是为了支持未来的自己。
2024-07-23 20:32:14
586
原创 使用Streamlit、LangChain、Neo4j和GPT-4o构建GraphRAG实战讲解及开源实现
我们正在使用的示例应用程序有四个主要组件:本地使用Docker托管的Neo4j一种图形构建工具，可以提取非结构化文本并使用人工智能将其转换为知识图从图中提取结构化和非结构化文本的混合检索器一个Streamlit用户界面，允许用户与其图形化知识文档进行对话。
2024-07-23 20:17:41
1048
原创 掌握 RAG：使用 Langchain 和 Ollama 创建本地智能应用程序
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。它简化了将这些模型集成到应用程序中的复杂性，使得开发者可以快速利用最新的模型，如 Meta 的 Llama3，进行本地开发和测试。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
2024-07-23 20:03:15
652
原创 一文彻底理解大模型 Agent 智能体原理和案例
大模型 Agent，作为一种人工智能体，是具备环境感知能力、自主理解、决策制定及执行行动能力的智能实体。简而言之，它是构建于大模型之上的计算机程序，能够模拟独立思考过程，灵活调用各类工具，逐步达成预设目标的智能存在。Agent 是 AI 大模型应用的主要新形态，在技术架构范式也发生了很大的变化，从面向过程的架构变成了面向目标架构。
2024-07-22 20:21:47
722
原创 开发一个Agent智能体有多简单
现在越来越多的人开始关注Agent智能体，也有很多朋友想动手开发一个智能体。今天分享下我开发的一个能翻译 GitHub 开源项目的智能体。比如，像这样的英文 GitHub 项目智能体翻译后的内容是这样翻译后的图表、格式都与原文保持一致，阅读体验比较好。以后要用的时候，填入开源项目地址就可以，使用非常方便。这个智能体是在扣子平台做的，扣子提供了大量插件（Agent Tools），所以开发一个智能体就非常简单。首先，需要一个能获取 GitHub 项目 README 内容的插件。
2024-07-21 10:45:00
833
原创 CLUSTERLLM：将大型语言模型作为文本聚类的指南
我们介绍了CLUSTERLLM，这是一种利用经过指令微调的大型语言模型（如ChatGPT）反馈的新型文本聚类框架。与建立在“小”嵌入器上的传统无监督方法相比，CLUSTERLLM具有两个有趣的优势：（1）即使其嵌入不可访问，它也享有LLM的突现能力；（2）它通过文本指令和/或少量标注数据理解用户对聚类的偏好。首先，我们通过构建困难的三重问题来提示ChatGPT，以获取聚类视角的见解，其中A、B和C是根据小嵌入器属于不同簇的相似数据点。
2024-07-20 10:45:00
558
原创 大模型部署的问题，以及企业级大模型的分布式部署方案
在学习大模型的过程中，很多人都知道大模型的训练与部署，但网上大部分资料介绍的都是单机训练和部署。
2024-07-19 19:57:37
675
原创 利用生成式人工智能和大语言模型：医疗融合的全面路线图
自2022年11月由美国公司OpenAI发布以来，名为ChatGPT的聊天机器人以其在与人类对话中的出色表现震惊了世界 [1]。比尔·盖茨赞扬说，新一代对话代理者将“改变人们的工作方式、学习方式、旅行方式、获得医疗保健的方式以及彼此交流的方式”，从而导致重大的生产率提升和世界上一些最严重的不平等问题得到缓解，特别是在医疗保健方面 [1]。白宫媒体公告赞扬“如果得到妥善管理，人工智能可以为所有人的繁荣、平等和安全做出巨大贡献，从癌症预防到气候变化缓解等各个领域” [2]。
2024-07-18 22:01:19
633
原创 计算机毕业生选算法岗还是开发岗？哪个更有前景？
在当今这个数字化时代，计算机专业无疑成为了众多学子心中的热门选择。它不仅代表着高薪酬的吸引力，更象征着未来科技的无限可能。然而，计算机专业的就业方向中，开发岗和算法岗成为了众多计算机专业毕业生的热门选择。这两个岗位，一个侧重于工程实践，一个专注于算法研究，究竟哪一个更适合你呢？软件开发工程师软件开发工程师是从事软件开发相关工作的人员的统称。
2024-07-17 20:50:35
928
原创 多模态图像融合全新里程碑！性能暴涨至99.48％，效率提升4倍
强烈建议所有做图像任务的伙伴，一定不要忽略这项至关重要的技术：多模态图像融合！它能将不同模态的信息结合，克服单一模态的图像信息量有限的问题，在提高图像处理任务的准确性和效率方面效果显著！比如新模型DeepM2CDL便实现了性能提升至99.48％的炸裂效果！而模型MACTFusion，则通过引入注意力机制，在性能提升的同时，训练速度快4倍！正是基于该方法效果卓越，各种改进层出不穷！简述：本篇论文提出了一种名为DeepMCDL的深度多尺度多模态卷积字典学习网络。
2024-07-17 20:33:53
884
原创 浅谈AI生成视频在金融领域的应用
Sora 是openAI 团队发布的一款人工智能模型，他能够根据用户提供的文本描述生成视频内容（Text to video= 文字生成视频），于2024年2月15日（美国当地时间）正式对外发布。
2024-07-17 20:12:00
926
原创 基于大模型的中医舌象智能分析和辅助决策系统演示
基于大模型的中医舌象智能分析是一种创新的中医辅助诊断技术，它结合了现代人工智能技术和传统中医诊断方法。以下是对您描述的基本流程的概括和补充：用户登记：首先，系统需要对用户进行登记，可以通过面部识别技术快速识别并查询用户的历史检测记录，确保信息的连续性和对比性。历史检测记录：登记成功后，用户可以查看自己之前的所有舌象检测记录，这有助于观察舌象变化趋势，评估治疗效果或健康状况的变化。舌象特征提取检测：在这一步骤中，系统使用深度学习的图像处理技术对用户的舌象进行自动分割和特征提取，识别舌质、舌苔等关键信息。
2024-07-16 21:11:08
626
原创 数字人应用场景全解析
数字人，也常被称为虚拟数字人或虚拟形象，是通过计算机图形学、人工智能、机器学习等技术合成的三维或二维角色。它们不仅拥有接近真人的外观，还能通过预设的算法或实时的AI处理进行交流和互动。
2024-07-16 20:12:34
799
原创 百度李彦宏最新预判：大模型应用，最看好这个方向！
人工智能是新一轮科技革命和产业变革的重要驱动力量。近日，百度创始人、董事长兼首席执行官李彦宏先生在2024世界人工智能大会上进行了分享。i黑马作为2024世界人工智能大会的官方合作媒体，现场进行了记录，现将核心内容分享大家。1、两年的时间恍若隔世，整个世界都变了，人工智能可以说颠覆了绝大多数人的认知。2、同样参数规模之下，闭源模型能力比开源模型要更好。3、没有应用，大模型将一文不值。大家不要卷模型了，要去卷应用。
2024-07-15 21:25:38
980
原创 AI智能体 | 扣子Coze 中如何构建知识库，看这一篇就够了
知识库是区别于大模型之外。很多资料并没有进入通用大模型里面。比如保留在自己本地的知识记录，文档。每个公司还都有自己的一些知识文档等。这些都是知识库的来源。知识库通过把这些资料收集并学习，形成了一个有别于大模型之外的私有模型。知识库的导入类型分为本地文档，在线数据，Notion, 飞书，自定义。本地文档包含三种1 文本格式：word,pdf,txt2 表格格式：excel,csv3 照片类型1本地文档首先上传一个MQTT协议的说明文档选择自动分段与清洗开始进行数据处理，完成后点击确认。
2024-07-15 21:04:09
861
原创 论文分享 | “大模型个性化”论文集锦
个性化文本生成是一个新兴的研究领域，近年来引起了广泛的关注。这一方向的大多数研究都集中在通过设计定制的特征或模型来专注于特定的领域。在本工作中，我们提出了一种使用大型语言模型（LLMs）进行个性化文本生成的通用方法。受到写作教育实践的启发，我们开发了一个多阶段和多任务框架，用于教授LLMs进行个性化生成。在写作教学中，从源材料写作的任务通常被分解为多个步骤，这些步骤涉及查找、评估、总结、综合和整合信息。类似地，我们的个性化文本生成方法包括多个阶段：检索、排名、总结、综合和生成。
2024-07-13 21:12:15
657
原创 AI大模型新型智算中心技术建设白皮书 2024
大模型技术的日新月异对智算底座的升级提出了高要求，由于硬件的迭代周期和成本都要远大于上层软件和算法，统筹考虑、超前布局基础设施技术方案尤为重要。面向新互联，面向百卡级别的高速互联需求，产业应联合打造统一的计算总线协议，实现缓存一致性的数据访问，并提升流量控制、拥塞控制、网络无损、重传等通信和数据传输能力，收敛技术路线，推动国内高速互联技术生态成熟；集群间基于 GSE 打造无阻塞、高带宽、低时延、自动化的新型智算中心网络，向更细粒度的负载分担、端网结合的拥塞控制和基于全局的智能运维三个方向不断演进。
2024-07-12 20:53:17
899
原创 如何预估训练或推理大模型时所需要的显存？解析不同参数下大模型显存量化方法
本篇讲述如何根据模型参数量，参数设置以及batch size推理所需要的GPU显存。假设现在想要全参数训练一个llama-6B的模型，那么如何预估自己需要准备多大显存的卡？当fp32、fp16、int8模式下时显存大小具体又有什么变化呢？本篇来解答这个问题。下面是一个快捷目录。1. 大模型RAM构成2. 一个大模型显存计算示例大模型所需要的考虑的显存包括三个部分：模型本身，CUDA kernel，batch大小模型本身需要的 RAM 大致分三个部分：模型参数、梯度、优化器参数。
2024-07-11 17:47:11
1496
原创 LLM 推理框架之上：10 中常见 LLM 推理系统总结
在 [2302.11665] AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving 中，作者证明了当为多个模型提供服务时，即使单个模型可以放置在单个设备上，模型并行性也可以额外用于多个设备的统计多路复用。文中作者也探索了模型并行性引入的开销与利用统计多路复用来减少存在突发工作负载时的服务延迟之间的权衡。
2024-07-10 20:57:18
811
原创 大语言模型笔面试
前馈网络在Transformer模型中起到了非线性变换和特征提取的作用，通过两个线性变换和一个非线性激活函数，它增强了模型的表达能力和特征提取能力。作为编码器和解码器层中的一部分，前馈网络与自注意力机制共同作用，构成了Transformer模型处理序列数据的基础。3 为何Transformer 模型中采用 Layer Normalization 而非 Batch Normalization？
2024-07-10 20:41:12
684
原创 GLM-4已支持Ollama部署
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的26 种语言。
2024-07-09 20:57:07
1018
原创 RouteLLM：帮你决定用哪个模型的的高效路由框架，实现成本节约85%！
并非所有问题都需要GPT-4！RouteLLM，一个基于人类偏好数据的路由框架，可以将简单查询引导至成本更低的模型。通过数据增强技术，RouteLLM在MT Bench上实现了超过85%的成本节约，在MMLU上实现了45%的成本节约，同时保持了95%的GPT-4性能。与商业产品（Martian和Unify AI）在MT Bench上进行比较，表现相当，同时成本降低了40%以上。我们的模型、数据集和用于服务和评估LLM路由器的代码都是开源的。我们很期待社区在此基础上构建更多创新！
2024-07-09 20:40:54
807
原创 AI Agent在金融领域的应用场景与落地案例
在数字化和智能化的双重浪潮下，人工智能（AI）技术正以前所未有的速度向前发展，从医疗健康到制造业，从教育到零售，AI技术的广泛应用正在重塑各行各业的运营模式和业务逻辑，同时也深刻改变着人们的生活方式。AI技术的应用范围日益广泛，无处不在地提供着便利和服务。在这样一个科技日新月异的时代，金融行业作为国民的经济脉络和促进经济发展的重要引擎，自然成为AI技术应用的重点领域之一。金融行业是一个信息密集、数据庞大、业务复杂的领域，对于数据的处理能力和分析精度有着极高的要求。
2024-07-09 20:16:46
766
原创 AIGC算法工程师面经：NLP基础篇——从分词、词表优化、词向量、词频、解码到设计分类模型
在具体讲之前先讲一下了解这个算法有什么用。假设有一道编程题目，描述为。
2024-07-08 21:36:59
714
原创 再来谈谈大模型的分离式推理架构
知乎上看到方佳瑞博士的一篇文章《LLM分离式推理可能带来的软硬件变革的迷思》恰逢这周工作上有一些和HugeCTR相关的事情, 那么就从软硬件一体化的视角来阐述一下整个架构的演进, 特别是在分离式推理架构上.
2024-07-08 21:22:43
870
原创 2024 人工智能最前沿：分享几个大模型(LLMs)的热门研究方向
使LLM根据不同内容生成更多样化的示例」**。SYNTHESIZRR在提升词汇和语义多样性、模仿人类文本以及提高模型微缩化性能方面，均优于传统方法。
2024-07-08 20:56:43
1011
原创 生成式AI教育图谱2024
教育科技博主Laurence Holt更新了2024版的生成式AI教育产品图谱（点击阅读原文）。经过一年多生成式AI的快速发展，教育领域迸发了大量新产品，但一个核心问题在于，“听上去挺好，但在什么场景中发生？”举个例子，AI具备不错的课程内容改编能力，可以把一堂常规的、讲授式的历史课堂改写为一个涵盖角色扮演活动的互动式课堂，但老师在什么场景下使用这个AI工具，在什么时间去上这堂课呢？这个问题犹如房间里大象，一些AI能力可能体验不错，但往往缺乏【空间】落地。
2024-07-07 10:45:00
969
原创 华泰 | 科技年度报告：模型篇 - AI大模型商业模式思考
本篇报告，我们通过对海内外AI大模型企业的研究，提供对AI大模型商业模式的思考框架：1）基础大模型未来的竞争格局方面，或赢者通吃，或国内外分别寡头竞争，而行业大模型则有望百花齐放；2）本轮AI应用中，“AI+”还是“+AI”能够取胜需要根据场景具体讨论，取决于AI在业务流程中是否具有护城河，以及AI在业务价值链的占比；3）开源模型和闭源模型在未来较长一段时间内将形成相互摇摆的博弈格局。目前，“基础大模型→行业大模型→终端应用”的大模型路线非常清晰。
2024-07-06 10:45:00
781
原创 AI深挖各行业数据价值，数智赋能未来可期
在这瞬息万变的世界，人工智能（AI）犹如一股破晓的曙光，以其无远弗届的影响力，逐渐勾勒出未来社会的宏伟蓝图。从理念的火花到现实的洪流，AI不仅催化了生产力的飞跃与资源的智能配置，更如一位精妙的矿工，在数据的瀚海中挖掘出前所未有的珍宝。此番征途，我们将携手潜入AI的深邃蓝海，细致考察其如何在医疗、教育、金融等十大关键领域挥洒创新的笔触，重塑业态格局，开启数智融合的全新时代。医疗健康，作为关乎民生福祉的首要领域，正经历着AI技术的深刻变革。
2024-07-05 20:43:50
790
原创 使用结构化医学知识库对大型语言模型进行知识调优，以在中文环境下生成可靠的响应
大型语言模型（LLMs）在通用领域的自然语言处理（NLP）任务中展示出了显著的成功。然而，由于领域知识有限，LLMs有时会生成关于医学事实的幻觉性回应。这样的不足在医学环境中利用LLMs可能存在潜在风险。为了解决这一挑战，我们提出了知识调整（knowledge tuning），利用结构化的医学知识库，使LLMs能够高效地掌握领域知识并实现可靠的回应生成。我们还发布了，一个从医学知识库构建的中文医学知识问答数据集，用于评估LLMs的医学知识水平。
2024-07-04 20:05:42
254
原创 阿里云 PAI 大语言模型微调训练实践
在机器学习的发展过程中，模型的开发与应用模式一直在不断迭代。传统的机器学习年代，机器学习工程师在采集数据之后，需要通过特征工程处理数据，使用模型训练。在深度学习的年代，计算资源更加丰富，模型层数增加，模型能够支持直接从原始的数据中端到端地进行训练，而不大量依赖于特征工程。到了预训练模型的阶段，在模型开发流程中，工程师更多得采用在基础的预训练模型上，使用少量数据微调的方式构建下游应用的模型。
2024-07-03 20:28:06
602
原创 《麻省理工科技评论》中国发布AI大模型先进应用案例，共同迎接面向企业和大众的人工智能新时代
分别入选 2001 年、2013 年、2018 年、2021 年、2023 年《麻省理工科技评论》全球十大突破性技术。这些技术为生成式人工智能发展到今天的状态奠定了基础。过去一年生成式人工智能已经成为人们讨论的中心话题，行业有「最」关心的话题、评论这是「最」卷的行业、形成「最」快速的增长与热潮、企业开展「最」激烈的竞争……同时我们也观察到，正在「变」快的立法速度、正在「变」务实的大众和企业……狂奔一年时至今日，
2024-07-03 20:02:33
857
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人