大模型理论与实战
文章平均质量分 94
Python算法实战
这个作者很懒,什么都没留下…
展开
-
一文讲透 Vision Transformer 网络
Transformer最初提出是针对NLP领域的,并且在NLP领域大获成功。这篇论文也是受到其启发,尝试将Transformer应用到CV领域。关于Transformer的部分理论之前的博文中有讲,链接,这里不再赘述。通过这篇文章的实验,给出的最佳模型在ImageNet1K上能够达到88.55%的准确率(先在Google自家的JFT数据集上进行了预训练),说明Transformer在CV领域确实是有效的,而且效果还挺惊人。原创 2024-05-22 10:30:57 · 478 阅读 · 0 评论 -
24届视觉算法岗(AIGC方向)秋招经验分享
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。原创 2024-05-22 10:18:14 · 576 阅读 · 0 评论 -
MiniGPT4-Video:新的多模态视觉大模型
如下图 Figure 2 所示,本文方法的思路也很简单,也是将视频分割为不同的视频帧分别处理:每个视频帧都是用 Vision Encoder 提取视觉 Token,不过会采用 MiniGPT-v2 的方案,每 4 个 视觉 Token 会压缩为 1 个 Token。视频帧的分辨率为 224x224,采用 EVA-CLIP 作为 Vision Encoder,输出 256 个 Token,压缩后为 64 个 Token。原创 2024-05-21 09:55:18 · 344 阅读 · 0 评论 -
DALL-E、Stable Diffusion 等 20+ 图像生成模型综述
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。原创 2024-05-21 09:42:22 · 230 阅读 · 0 评论 -
重磅消息!《AIGC 面试宝典》(2024版) 正式发布!
2022 年下半年以来,文本生成图像快速出圈,多款应用持续火爆。国外文生图代表:Midjourney、Stable Diffusion、OpenAI 的 DALL-E:海外模型SD开源,进一步促进了国内大厂的研究热情和应用落地:随着多模态技术迭代,图像生成、视频生成、3D生成、音频生成等 AIGC 应用加速落地,相关岗位需求特别旺盛。节前,我们星球群组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、最近参加社招和校招面试的同学。原创 2024-05-20 09:09:27 · 854 阅读 · 0 评论 -
我总结了 100 道 NLP(含大模型) 高频面试题!
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。大家好,今天我总结了 100 道 NLP 高频面试题,分享给大家。原创 2024-05-20 09:01:48 · 724 阅读 · 0 评论 -
大模型推理加速实践经验分享
在本文中,我们深入探讨了一系列旨在提升大模型推理速度的技术和方法,包括但不限于Flash Attention、Page Attention、MOE以及张量并行技术。通过在生产环境中批量部署专用大模型推理集群,我们成功地将包括70B规模模型在内的推理速度降低了50%,稳定地应用这些技术于生产环境,从而证明了这些优化方法的有效性和实用性。随着大型模型在各个领域的应用越来越广泛,如何有效地提升推理速度、降低推理成本成为了一项挑战。原创 2024-05-17 22:24:56 · 815 阅读 · 0 评论 -
零一万物开源 Yi-VL 多模态大模型,推理&微调来啦!
零一万物Yi系列模型家族发布了其多模态大模型系列,多模态语言大模型正式面向全球开源。凭借卓越的图文理解和对话生成能力,Yi-VL模型在英文数据集MMMU和中文数据集CMMMU上取得了领先成绩,展示了在复杂跨学科任务上的强大实力。——这也是Yi-VL模型的核心亮点之一。用于图像编码,使用开源的OpenClip ViT-H/14模型初始化可训练参数,通过学习从大规模"图像-文本"对中提取特征,使模型具备处理和理解图像的能力。为模型带来了图像特征与文本特征空间对齐的能力。原创 2024-05-16 17:28:55 · 988 阅读 · 0 评论 -
爆火!!!中文版 Llama3 开源了!!
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。最近,Meta 推出了 Llama 3,为开源大模型树立了新的标杆。和以往的原始 Llama 模型一样,Llama 3 对中文的支持效果欠佳,经常会出现你用中文提问,它用英文或中文+英文回复的现象。因此,要想让国内用户用上该模型,开发者还需对其进行微调。原创 2024-05-15 09:19:23 · 708 阅读 · 0 评论 -
基于 Llama-Index、Llama 3 和 Qdrant,构建一个 RAG 问答系统!
RAG = 密集向量检索(R)+上下文学习(AG)检索:为您的文档中提出的问题查找参考资料。增强:将参考资料添加到您的提示中。生成:改进对所提出的问题的回答。在RAG中,我们通过将文本文档或文档片段的集合编码为称为向量嵌入的数值表示来处理它们。每个向量嵌入对应于一个单独的文档片段,并存储在一个称为向量存储的数据库中。负责将这些片段编码为嵌入的模型称为编码模型或双编码器。这些模型在广泛的数据集上进行了训练,使它们能够为文档片段创建强大的表示形式,即单个向量嵌入。原创 2024-05-06 14:29:32 · 912 阅读 · 0 评论 -
中文 Llama-3 开源大模型项目正式发布
2024年4月19日,Meta发布了最新一代开源大模型Llama-3,其中包括两个模型大小:8B、70B,并在未来会进一步开放400B+模型。每个模型均包括基座模型Llama-3以及经过对齐的对话模型Llama-3-Instruct。这些模型相比Llama-2在多个评测集上获得了显著的性能提升。词表大小:从32K提升至128K,并且使用了BPE词表训练数据量:由2T tokens大幅度提升至15T tokens上下文长度:由4096提升至8192全尺寸均使用了GQA。原创 2024-05-02 22:59:28 · 797 阅读 · 0 评论 -
使用大模型框架 LlamaIndex ,释放多文档代理的强大功能
在深入探讨之前,让我们澄清一些关键概念:多文档代理(MDAs):这些智能系统能够处理并综合来自多个文档的信息,以提供对用户查询的全面响应。LlamaIndex:这是一个先进的平台,促进文档索引和检索,作为构建强大MDAs的支撑。多文档代理与LlamaIndex的优势全面的信息检索:通过利用跨多个文档的集体知识,由LlamaIndex支持的MDAs可以为用户提供更全面和准确的响应。这确保了更丰富的用户体验,并促进了更深入的理解。原创 2024-04-30 17:12:18 · 970 阅读 · 0 评论 -
大模型实战:如何使用图数据库提高向量搜索精确度?
在这篇博客文章中,我们实现了基于图的元数据过滤器的示例,以提高向量搜索的准确性。数据集拥有广泛且相互关联的选项,这允许进行更精细的预过滤查询。结合图数据表示和语言模型的函数调用功能,可以动态生成 Cypher 语句,从而为结构化过滤器提供了几乎无限的可能性。此外,你的代理可以拥有检索非结构化文本的工具,如本文所示,以及能够检索结构化信息的其他工具,这使得知识图谱成为许多 RAG应用的理想解决方案。原创 2024-04-30 17:07:10 · 729 阅读 · 0 评论 -
【完整指南】如何在Visual Studio Code中轻松运行Llama 3模型?
Meta 发布了最新的开源语言模型Llama 3。因为它是开源的,你可以下载这个模型,并在自己的电脑上运行。我清楚,你可能会想,在个人笔记本上运行一个拥有80亿参数的AI模型似乎只有技术高手才能做到。但别担心!这篇文章会提供一个简单的步骤指导,帮助每个人都能轻松上手。原创 2024-04-28 11:32:39 · 1004 阅读 · 0 评论 -
向量数据库深度比较:为何 Qdrant 是您的最佳选择?
我们生活的世界中,数据往往是复杂且无规则的,不是所有信息都能简单地适应传统的行列模式。特别是当我们处理图像、视频和自然语言这样的复杂非结构化数据时,向量数据库就显得尤为重要了。向量数据库,顾名思义,它以高维向量的形式存储数据。这些向量是一串数字,代表了某个对象的特征或属性。每一个向量都对应着一个独一无二的实体,比如一段文字、一张图片或一段视频。为什么选择向量呢?向量的魅力在于它们能够精准捕捉到数据的语义含义和相似度。原创 2024-04-28 11:07:14 · 716 阅读 · 0 评论 -
解锁大模型高效推理:将 LlamaIndex 与抽象链集成
在语言理解领域,对忠实推理的追求促使研究人员探索各种途径。大型语言模型(LLMs)在解释和执行指令方面取得了显著进展,但在准确回忆和组合现实世界知识方面仍然面临挑战。为了解决这个问题,将外部工具集成到LLMs的推理过程中已经成为一种有前途的方法。虽然工具可以通过提供对外部知识源的访问来促进这一过程,但有效地将它们整合到多步推理任务中仍然是一个挑战。相互连接的工具调用需要对工具的有效使用进行整体规划,促使探索新的方法论来增强LLMs的推理能力。原创 2024-04-28 10:49:29 · 764 阅读 · 0 评论 -
Llama3 中文通用 Agent 微调模型来啦!(附手把手微调实战教程)
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。Llama3模型在4月18日公布后,国内开发者对Llama3模型进行了很多训练和适配,除了中文纯文本模型外,多模态版本也陆续在发布中。考虑到国内用户对Agent场景的需求,社区LLM&AIGC模型微调推理框架SWIFT基于Llama3-8b-instruct原始版本训练了。原创 2024-04-24 21:53:20 · 1991 阅读 · 0 评论 -
玩转 AIGC!使用 SD-WebUI 实现从文本到图像转换
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。stable-diffusion-webui是一个很棒的开源项目,它是一款基于web的GUI应用,让用户能够方便地与 stable-diffusion模型进行交互,选择不同的模型,并实现从文本到图像(txt2img)的以及其他图像处理任务。原创 2024-04-22 22:31:29 · 1779 阅读 · 0 评论 -
万字长文梳理Llama开源家族!从Llama-1到Llama-3
总之,Llama模型的发布不仅证明了开源模型在全球AI领域的重要性,也为AI的未来发展方向提供了新的视角和动力。通过持续的技术进步和社区驱动的创新,Llama有望继续推动全球AI技术的广泛应用和发展。原创 2024-04-22 22:12:54 · 895 阅读 · 0 评论 -
用通俗易懂的方式讲解:大模型高级 RAG 检索策略之递归检索
递归检索相较于普通 RAG 检索,可以解决后者因文档切片过大而导致检索信息不准确的问题,下面是递归检索的流程图:递归检索在原始文档节点基础上,扩展了更多粒度更小的文档节点检索文档时如果检索到扩展节点,会递归检索到其原始节点,然后再将原始节点做为检索结果提交给 LLM在LlamaIndex[1]的实现中,递归检索主要有两种方式:块引用的递归检索和元数据引用的递归检索。原创 2024-04-14 10:43:36 · 1101 阅读 · 0 评论 -
【RAG实践】Rerank,让大模型 RAG 更近一步
近几年, 随着深度学习的发展,尤其是预训练语言模型的出现极大的推动了文本表示技术的效果, 基于预训练语言模型的文本表示模型在学术研究数据、工业实际应用中都明显优于传统的基于统计模型或者浅层神经网络的文本表示模型。本文主要关注在Rerank,本文中,Rerank可以在不牺牲准确性的情况下加速LLM的查询(实际上可能提高准确率),Rerank通过从上下文中删除不相关的节点,重新排序相关节点来实现这一点。加载数据后,基于文档对象列表(或节点列表),建设他们的index,就可以方便的检索他们。原创 2024-04-09 22:21:31 · 1480 阅读 · 1 评论 -
【RAG实践】基于LlamaIndex和Qwen1.5搭建基于本地知识库的问答机器人
LLM 会产生误导性的 “幻觉”,依赖的信息可能过时,处理特定知识时效率不高,缺乏专业领域的深度洞察,同时在推理能力上也有所欠缺。正是在这样的背景下,检索增强生成技术(Retrieval-Augmented Generation,RAG)应时而生,成为 AI 时代的一大趋势。RAG 通过在语言模型生成答案之前,先从广泛的文档数据库中检索相关信息,然后利用这些信息来引导生成过程,极大地提升了内容的准确性和相关性。原创 2024-04-09 22:14:11 · 1390 阅读 · 0 评论 -
网易大模型 RAG 问答知识库开源,Star 超 6K!!
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天我分享一个开源项目QAnything,它是由网易开源自研的 RAG 引擎。该引擎允许用户上传 PDF、图片、Word、Excel、PowerPoint 等多种格式的文档,并实现类似于 ChatGPT 的互动问答功能,其中每个答案都能精确追溯到相应的文档段落来源。原创 2024-04-05 13:06:27 · 1534 阅读 · 0 评论 -
阿里通义千问 Qwen1.5-MoE 开源!推理训练最佳实践教程来啦
通义千问团队推出 Qwen 系列的首个MoE模型,Qwen1.5-MoE-A2.7B。它仅拥有27亿个激活参数,但其性能却能与当前最先进的70亿参数模型,如Mistral 7B和Qwen1.5-7B相媲美。原创 2024-03-30 16:40:27 · 2595 阅读 · 0 评论 -
阿里通义千问 Qwen1.5 实践案例来了
大模型落地一直受到算力的约束,今天分享一个参数相对较小的模型: Qwen1.5 的落地方法。原创 2024-03-23 11:14:36 · 1656 阅读 · 0 评论 -
重磅消息!《大模型实战宝典》(2024版) 正式发布!
2024 年刚开年,OpenAI 推出的文生视频工具 Sora 再次风靡全球,成为 OpenAI 继 ChatGPT 之后新的生成式 AI 标杆。关于大模型的话题不断涌现,令人应接不暇,截至到目前,国内大模型已发布数量超过200个。去年我们写了一本《大模型实战宝典》(以下简称《实战宝典》),有很多小伙伴订阅,反馈内容通俗易懂,有基础知识做铺垫,收获了很多。今年年初开始,就开始计划内容大版本升级,前期也做了很多准备工作。原创 2024-03-23 09:04:57 · 764 阅读 · 0 评论 -
用通俗易懂的方式讲解:大模型 Rerank 模型部署及使用技巧总结
RAG 是一种结合了信息检索和文本生成的语言模型技术。简单来说,当你向大语言模型(LLM)提出一个问题时,RAG 首先会在一个大型的文档集合中寻找相关信息,然后再基于这些信息生成回答。Rerank 的工作就像是一个智能的筛选器,当 RAG 从文档集合中检索到多个文档时,这些文档可能与你的问题相关度各不相同。有些文档可能非常贴切,而有些则可能只是稍微相关或者甚至是不相关的。这时,Rerank 的任务就是评估这些文档的相关性,然后对它们进行重新排序。它会把那些最有可能提供准确、相关回答的文档排在前面。原创 2024-03-12 21:47:46 · 4175 阅读 · 0 评论 -
推荐收藏!科大讯飞算法岗(NLP 方向)面试题7道(含答案)
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂同学、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天我整理一下算法岗方向面试题,分享给大家,希望对后续找工作的有所帮助。原创 2024-02-26 22:19:27 · 1295 阅读 · 0 评论 -
推荐收藏!网易 NLP 大模型(实习)面试题8道(含答案)!
stable diffusion是一种生成模型,其原理基于Langevin动力学和扩散过程。其核心思想是通过多次迭代,逐渐将噪声信号演化为目标分布所对应的样本。具体原理如下:初始化噪声信号为服从高斯分布的随机向量。通过一系列的演化步骤,将噪声信号迭代地转化为目标分布的样本。每一步中,将当前噪声信号与目标分布的梯度信息结合,通过Langevin动力学方程进行更新,使噪声信号逐渐接近目标分布。迭代的次数越多,噪声信号越接近目标分布,并最终生成目标分布的样本。原创 2024-02-26 22:06:04 · 1489 阅读 · 0 评论 -
大模型 Advanced-RAG(高级检索增强生成):从理论到 LlamaIndex 实战!
首先,您可以在全局设置对象中定义一个嵌入模型和LLM。这样做意味着您不必再次在代码中明确指定模型。嵌入模型:用于为文档块和查询生成向量嵌入。LLM:用于根据用户查询和相关上下文生成答案。原创 2024-02-25 11:23:49 · 1246 阅读 · 1 评论 -
大模型训练中优化策略(数据并行、模型并行、ZeRO等)
在微调时,模型显存占用主要包括和四个部分。对于一个参数量的模型,它的模型参数占用为:将模型参数视为基准,模型梯度占用量与模型参数相同。优化器主采用,它核心计算公式如下:由于需要保存 m 和 v,而 m 和 v 规模与参数梯度相同,因此优化器需要两倍显存容量。同时,在计算中得到的中间结果需要保存在显存中,以便反向传播时计算梯度。对于每一个中间结果,其数据形状为 [Batch, SeqLen, Dim]。原创 2024-02-18 17:27:34 · 1183 阅读 · 0 评论 -
使用 LangChain+大模型,基于文本数据构建知识图谱
知识图谱,也被称为语义图,是一种智能结构,以高效的方式存储数据。数据以节点和边的形式存储。如下图所示,节点代表对象,边表示它们之间的关系。知识图谱所代表的数据模型有时被称为资源描述框架(RDF)。RDF定义了在万维网中相互链接站点的方式。原创 2024-02-18 12:02:43 · 2009 阅读 · 0 评论 -
写的太通透了!大模型自省式 RAG 与 LangGraph 的实践!
自省机制可以显著提升 RAG 的功能,允许改正检索和生成过程中的质量问题。几篇最新的 RAG 论文都着重讨论了这一主题,但要将这些理念实际应用起来有着不小的难度。本文展示了如何利用 LangGraph 进行“流程工程化”地实施自反式 RAG。我们还提供了实施两篇引人注目的论文 —— Self-RAG 和 CRAG 中的理念的详细指导。原创 2024-02-12 21:06:03 · 1676 阅读 · 0 评论 -
大模型为什么会有 tokens 限制?
人是以字数来计算文本长度,大语言模型 (LLM)是以 token 数来计算长度的。LLM 使用 token 把一个句子分解成若干部分。token 可以是一个单词、一个单词中的一个部分、甚至是一个字符,具体取决于它使用的标记化方法 (tokenization method)。比如:句子 “ChatGPT is great!” 可能会被分割成 [“Chat”, “G”, “PT”, " is", " great", “!”] 这 6 个 tokens。上下文 token 长度为什么会有限制?原创 2024-02-07 22:17:17 · 1921 阅读 · 0 评论 -
用通俗易懂的方式讲解:一文搞懂大模型 Prompt Engineering(提示工程)
本文将从提示工程的本质、提示工程的原理、提示工程的应用三个方面,带您一文搞懂提示工程 Prompt Engineering。原创 2024-02-07 21:34:03 · 1879 阅读 · 0 评论 -
用通俗易懂的方式讲解:在企业算法项目落地中,大模型能力增强最常用的两种方式
对 LLM 大模型能力增强在企业有两种实践路线:RAG 和 Fine-tuning。接下来我们详细剖析下这两种增强实现方式。原创 2024-02-06 11:39:08 · 918 阅读 · 0 评论 -
用通俗易懂的方式讲解:12 个大模型 RAG 痛点及解决方案
我们探讨了开发RAG管道中的12个痛点(来自论文的7个和额外的5个),并为所有这些问题提供了相应的解决方案。原创 2024-02-04 17:06:03 · 1463 阅读 · 0 评论 -
LangChain 最近发布的一个重要功能:LangGraph
next: str。原创 2024-02-04 16:33:21 · 1633 阅读 · 0 评论 -
用通俗易懂的方式讲解:一文详解大模型 RAG 模块
RAG 技术是一种检索增强生成的方法,结合了大型语言模型和检索系统的优势,以提高生成内容的准确性、相关性和时效性。相比于仅依赖大型语言模型的生成,RAG技术可以从外部知识库中检索信息,避免了模型的幻觉问题,并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比,RAG技术更加灵活,可以处理非结构化的自然语言文本。RAG并非旨在取代已有的知识库问答系统,而是作为一种补充,强调实时性和准确性,并且通过结合生成和检索机制来提升自然语言处理任务的效果。增强数据获取。原创 2024-02-02 22:42:40 · 4627 阅读 · 1 评论 -
用通俗易懂的方式讲解:大模型训练推理应该选择什么样的服务器?A100、H100,L40S、H200。。。
2024年,数据中心市场,英伟达显卡依然一卡难求,已发布的A100、H100,L40S,还有即将发布的H200都是市场上的香饽饽。2020年,英伟达发布了基于Ampere架构的A100。2022年,英伟达发布了基于Hopper架构的H100,2023年,英伟达又发布了L40S。2024年,英伟达即将发布H200,虽然还没正式发布,但部分规格已经公开。于是,就有了这样一张表格。原创 2024-02-01 09:31:47 · 1538 阅读 · 0 评论