- 博客(51)
- 收藏
- 关注
RSS订阅
原创 《大模型面试宝典》(2024版) 正式发布！
2022 年11月底，OpenAI 正式推出 ChatGPT ，不到两个月的时间，月活用户就突破1亿，成为史上增长最快的消费者应用。目前国内已发布的大模型超过200个，大模型的出现彻底改变了我们的生活和学习方式。现在只要你想从事 AI 相关的岗位，无论是计算机视觉（CV）、自然语言处理（NLP）、搜广推、风控等，大模型相关话题都是绕不开的。节前，我们星球群组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、最近参加社招和校招面试的同学。
2024-04-03 23:17:06
1637
原创 面了百度 CV 算法岗（实习）三轮，我要上岸了
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。百度是我年初找日常实习的第一个大厂，之前还面了唯品会，小红书等公司，很惊喜这几个都顺利拿到了实习offer。最终我还是去百度实习，今天把面试题分享出来，给广大焦虑的同学一些真实经验。需要交流，可以在星球来撩。
2024-04-30 16:11:52
538
原创 增强大模型高效检索：基于LlamaIndex ，构建一个轻量级带有记忆的 ColBERT 检索 Agent
在我们踏上旅程之前，让我们澄清一些关键概念：ColBERT：ColBERT，即基于 BERT 的上下文交互，是一种利用预训练语言模型如 BERT 来优化文档检索的技术。HyDE：混合文档嵌入（HyDE）将稀疏和密集嵌入的优势结合起来，以获得更准确的文档表示。对话式记忆：这指的是代理能够保留过去交互中的信息，从而实现更具上下文相关性的响应。集成的好处上下文相关性：通过保留对话历史，代理可以根据正在进行的对话定制检索结果，提高相关性。连续性：对话式记忆促进了交互的连续性，使对话流程更加自然和连贯。
2024-04-30 15:13:35
510
原创 重磅！《大模型实战宝典》(2024版) 正式发布！
2024 年刚开年，OpenAI 推出的文生视频工具 Sora 再次风靡全球，成为 OpenAI 继 ChatGPT 之后新的生成式 AI 标杆。关于大模型的话题不断涌现，令人应接不暇，截至到目前，国内大模型已发布数量超过200个。去年我们写了一本《大模型实战宝典》（以下简称《实战宝典》），有很多小伙伴订阅，反馈内容通俗易懂，有基础知识做铺垫，收获了很多。今年年初开始，就开始计划内容大版本升级，前期也做了很多准备工作。
2024-04-30 15:05:59
449
原创 面了小米汽车大模型算法岗，最终还是放弃了！
Qwen1.5 是一个语言模型系列，包括不同模型大小的解码器语言模型。对于每个大小，均有基础语言模型和对齐的聊天模型。模型基于 Transformer 架构，具有 SwiGLU 激活、注意力 QKV 偏置、组查询注意力、滑动窗口注意力和全注意力的混合等特性。此外，还有一种改进的分词器，适用于多种自然语言和代码。
2024-04-28 23:45:12
1040
原创 算法高频面试题：Attention 和 Transformer 灵魂七问
我们先来举个栗子吧！假设我们在图书馆中，我们有一个具体的问题（Query）， 书架上有很多图书，每个图书都有对用的书名（Key）表明书的内容。我们需要将问题（Query）与这些书名（Key）进行比较，以确定针对特定的（Query）每本书的相关性，对于每本书应该给多少关注（attention）。接着我们从相关书籍中得到信息（value）来回答上述问题。在翻译任务中，Query指代我们需要计算attention的单词。在encoder的例子中，query一般指代当前上下文中当前输入的单词。
2024-04-28 23:34:47
918
原创 LlamaFactory 进行大模型 llama3 微调，轻松上手体验学习
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
2024-04-24 23:14:06
1230
原创 我在本地部署通义千问Qwen1.5大模型，并实现简单的对话和RAG
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。这篇文章中，我们将开源的大模型部署到本地，并实现简单的对话和RAG。
2024-04-22 22:49:00
1175
原创 推荐收藏！大模型常考面试题总结（含答案）
在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的 intrinsic rank。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与PLM的参数叠加。用随机高斯分布初始化A ，用0矩阵初始化B，保证训练的开始此旁路矩阵依然是 0 矩阵。
2024-04-21 23:14:26
1364
原创 【大模型实战案例】手把手教大家微调大模型 Llama 3
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，我们对 Llama 3 进行了微调！！！今天手把手教大家使用 XTuner 微调 Llama 3 模型。
2024-04-20 19:58:38
1579
原创 面试小米汽车大模型算法岗，最后把 offer 拒了。。。
在自我介绍环节，我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长，展示了自信和沟通能力。Stable Diffusion 总共包含三个主要的组件，其中每个组件都拥有一个独立的神经网络：Clip Text 用于文本编码。输入：文本 输出：77 个 token 嵌入向量，其中每个向量包含 768 个维度UNet + Scheduler 在信息（潜）空间中逐步处理 / 扩散信息。输入：文本嵌入和一个由噪声组成的初始多维数组（结构化的数字列表，也叫张量 tensor）。输出：一个经过处理的信息阵列。
2024-04-20 19:42:50
1166
原创 面了百度自驾算法岗（实习），这次我要上岸了
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天分享星球社群一位小伙伴的面试题，
2024-04-17 22:39:31
848
原创 太棒了！AIGC 算法工程师高频算法题最全汇总
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天汇总一些 AIGC 算法工程师高频算法题，
2024-04-17 22:25:51
935
原创 推荐收藏！大厂 Transformer 常考面试题汇总！
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天汇总一些大厂 Transformer 常考面试题，
2024-04-15 22:04:18
443
原创 上周面试了一个大模型算法岗的女生，有点崩溃。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。组内最近一直在招人，上周就面了一个做大模型的女生，让我很崩溃！问的都是大模型和NLP的基础问题，回答的有点差强人意，只能说明一点准备都没做，比较有点无力感今天分享一些大模型常考的面试题，大家一定要复习复习，免得现场尴尬。。。
2024-04-15 21:55:02
1090
原创 大模型面试准备（十八）：使用 Pytorch 从零实现 Transformer 模型
2017年Google在论文《Attention is All You Need》中提出了Transformer模型，并成功应用到NLP领域。该模型完全基于自注意力机制Attention mechanism实现，弥补了传统的RNN模型的不足。本文笔者将详解使用Pytorch从零开始逐步实现Transformer模型。
2024-04-14 10:58:58
993
原创 大模型面试准备（十七）：深入理解 Transformer 技术原理
在深入了解Transformer的架构原理之前，我们首先要了解下，什么是注意力机制。人类的大脑对于信息的获取也存在注意力机制，下面我举几个简单的例子：从上面的图片中，我们可能更容易关注，颜色更深的字、字号更大的字，另外像“震惊”这种吸引人眼球的文案也非常容易吸引人的关注。我们知道在海量的互联网信息中，往往那些起着“标题党”的文章更能吸引人的注意，从而达到吸引流量的目的，这是一种简单粗暴的方式。
2024-04-13 18:32:06
1496
原创 大模型面试准备（十六）：一文搞懂Vision Transformer模型
Vision Transformer (ViT) 模型在论文 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale中提出。这是第一篇在 ImageNet 上成功训练 Transformer 编码器的论文，与熟悉的卷积架构相比，取得了非常好的结果。
2024-04-13 15:44:41
572
原创 大模型面试准备（十五）：BERT 工作流程
本文重点讨论了预训练掩码语言模型的不同训练策略，包括预测所有单词、仅预测被掩码的单词、预测被掩码的单词和随机单词以及预测被掩码的单词、随机单词和非掩码单词。通过这些不同的训练策略，BERT能够学习到更加丰富的语言表示，提高模型的泛化能力。
2024-04-11 23:40:00
1103
原创 大模型面试准备（十四）：BERT 为何青睐 Transformer 双向编码器？
本文全面概述了Transformer的升级模型BERT，一种基于双向Transformer编码器的预训练语言模型。BERT通过创新的预训练方式，包括遮蔽语言模型（MLM）和下一句预测（NSP）任务，成功突破了传统语言模型的限制，实现了深度双向表示的学习。这使得BERT能够捕捉更丰富的上下文信息，提升了对语言内在规律的理解能力。
2024-04-11 23:34:40
767
原创 这大概是最全的开源大模型LLM盘点了吧
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天我来整理了一些大模型的内容，分享给大家。LLM是指那些规模庞大、参数数量众多的深度神经网络模型，用于理解和生成自然语言文本。
2024-04-09 22:28:31
1226
原创 卷了一个月，成功拿到了美团算法岗 Offer ！
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。前几天，我们一位星球成员面了美团算法岗，并成功拿到了Offer。今天我整理了一些交流的内容，分享给大家。希望对后续找工作的小伙伴有所帮助。大家好，我来自北京邮电，专业是计算机，面试从 3.11 投递简历，4.7 收到 Offer，历时大概有一个月。
2024-04-09 21:30:13
754
原创 迈向高效智能文本生成：RAG、Agent 技术精要总结
今天我们分享了数据向量化和RAG技术，这些内容可以帮你在遇到大模型的幻觉、记忆问题、时效问题等问题上得到参考。但我们也知道这还远远不够，真正落地才是大家最关注的。所以后续文章我们也为大家精心准备了LangChain、向量数据库、Agent、MemGPT、Autogen、Self-RAG的实践内容，带领大家做一个落地的SalesGPT项目，帮助大家快速掌握向量化、RAG、Agent技术，将它们应用到你们的实践工作中去。
2024-04-07 22:00:50
1120
原创 大模型面试准备（十三）：深入剖析Transformer - 为什么选择自注意力机制？
本文全面概述了Transformer为什么选自注意力机制。因为自注意力机制能更好地处理长序列，计算起来简单，能并行计算，顺序操作更少。在翻译任务中，基于自注意力层的Transformer模型做得很好，还更省钱。同时，GPT已经将自注意力机制和Transformer模型用在更多地方，比如处理图片和视频，将多模态的展望成为现实。
2024-04-06 15:09:04
580
原创 大模型面试准备（十二）：深入剖析Transformer - 残差连接和层归一化
本文全面概述了Transformer的残差连接和层归一化。残差连接解决了深度网络退化问题，确保信息畅通；层归一化稳定输出分布，解决梯度问题，提升训练稳定性。两者结合使Transformer在自然语言处理中表现卓越。
2024-04-06 14:53:47
862
原创 大模型面试准备（十一）：深入剖析Transformer - 前馈神经网络
本文全面概述了Transformer的位置相关的前馈神经网络，旨在通过引入非线性能力和增加模型的表达能力，帮助模型更好地理解序列数据中的局部和全局结构，进一步提升处理序列数据的性能。
2024-04-06 14:41:06
964
原创 大模型面试准备（十）：深入剖析 Transformer - 注意力机制
本文全面概述了Transformer的注意力机制，该机制负责捕捉输入序列中不同位置之间的依赖关系。注意力机制通过计算查询向量（Query）、键向量（Key）和值向量（Value）之间的相互作用来实现。具体来说，对于每个位置，模型会生成相应的查询、键和值向量。查询向量与所有位置的键向量进行相似度计算，得到一组权重。这些权重随后用于对值向量进行加权平均，从而得到该位置的注意力输出。
2024-04-06 14:23:36
860
原创 大模型面试准备（九）：深入剖析 Transformer - 总体架构
本文全面概述了Transformer模型的总体架构——编码器-解码器架构。编码器和解码器各自包含多个堆叠的层，这些层结构上相似但功能各异。文中简要介绍了Transformer的关键组件，包括输入嵌入、位置编码、多头注意力、残差连接和层归一化、带掩码的多头注意力以及前馈神经网络等。。
2024-04-06 14:05:52
1006
原创 大模型面试准备（八）：一文让你彻底搞懂 Transformer 工作原理
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。本文将从单头Attention工作原理、多头Attention工作原理、全连接网络工作原理三个方面，带您一文搞懂 Transformer 工作原理。Transformer工作原理。
2024-04-05 10:57:59
901
原创 大模型面试准备（七）：一文搞懂 Fine-tuning（大模型微调）
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。本文将从Fine-tuning的本质、Fine-tuning的原理、Fine-tuning的应用三个方面，带您一文搞懂大模型微调：Fine-tuning。
2024-04-05 10:27:03
936
原创 大模型面试准备（六）：一文搞懂 LangChain 的链 Chains 模块
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。本文将从Chains的本质、Chains的原理、Chains的应用三个方面，带您一文搞懂 LangChain 的链 Chains。
2024-04-05 09:52:21
997
原创 大模型面试准备（五）：一文搞懂 LangChain 的智能体 Agents 模块
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。本文将从 Agents 的本质、Agents 的原理、Agents 的应用三个方面，带您一文搞懂 LangChain 的 Agents 模块。
2024-04-04 22:16:05
764
原创 大模型面试准备（四）：一文搞懂 LangChain 的 Retrieval 模块
检索（Retrieval）:目的：从大量文档或知识库中检索与用户查询或任务最相关的信息。方法：使用信息检索技术，如倒排索引、向量搜索（如基于BERT的句向量搜索）或密集向量检索等，来查找与用户输入最相似的文档或段落。输出：一组与用户查询高度相关的文档或段落。增强（Augmentation）:目的：将检索到的信息有效地整合到生成过程中，以丰富模型的输出。方法：可以通过多种方式实现增强，包括简单的拼接、注意力机制（如交叉注意力）、记忆网络或更复杂的融合策略。
2024-04-04 22:00:24
893
原创 大模型面试准备（三）：一文搞懂 LangChain 的 Model I/O 模块
问题二：如何缓存 LLM 响应？LangChain为LLM提供缓存层，可减少向LLM提供商的API调用，从而节省成本并加速应用。支持内存缓存和SQLite缓存两种方式，前者访问速度快但数据易丢失，后者数据持久但访问稍慢。问题三：如何从 LLM 流式传输响应？它只包含一个值，即由底层LLM提供者返回的最终结果。问题四：如何跟踪 LLM 调用中的Token使用情况？对于API调用，尤其是使用像OpenAI这样的服务时，跟踪Token的使用情况是管理成本和了解应用程序资源消耗的重要方面。
2024-04-04 09:09:05
1052
原创 大模型面试准备（二）：一文搞懂 LangChain
萃取（Extraction）：LLM 的另一个令人兴奋的应用是从原始的 LLM 生成中获得结构化的输出。
2024-04-04 08:45:26
1011
原创 一文搞懂大模型的 Prompt Engineering（提示工程）
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。今天，本文将从提示工程的本质、提示工程的原理、提示工程的应用三个方面，带您一文搞懂大模型的提示工程 Prompt Engineering。
2024-04-03 23:38:23
1654
原创 神经网络算法：一文搞懂 Self-Attention 和 Multi-Head Attention
Self-Attention（自注意力机制）：使输入序列中的每个元素能够关注并加权整个序列中的其他元素，生成新的输出表示，不依赖外部信息或历史状态。Self-Attention允许输入序列中的每个元素都与序列中的其他所有元素进行交互。它通过计算每个元素对其他所有元素的注意力权重，然后将这些权重应用于对应元素的表示，从而得到一个加权和的输出表示。Self-Attention不依赖于外部信息或先前的隐藏状态，完全基于输入序列本身。
2024-04-03 23:11:39
883
原创 神经网络算法：一文搞懂BERT（基于Transformer的双向编码器）
本文将从BERT的本质、BERT的原理、BERT的应用三个方面，带您一文搞懂| BERT。
2024-04-03 22:50:18
1324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人