- 博客(152)
- 收藏
- 关注
RSS订阅
原创 《大模型实战宝典》（2024版）正式发布！
2024 年刚开年，OpenAI 推出的文生视频工具 Sora 再次风靡全球，成为 OpenAI 继 ChatGPT 之后新的生成式 AI 标杆。关于大模型的话题不断涌现，令人应接不暇，截至到目前，国内大模型已发布数量超过200个。去年我们写了一本《大模型实战宝典》（以下简称《实战宝典》），有很多小伙伴订阅，反馈内容通俗易懂，有基础知识做铺垫，收获了很多。今年年初开始，就开始计划内容大版本升级，前期也做了很多准备工作。
2024-03-23 08:25:57
972
原创 《大模型面试宝典》(2024版) 正式发布！
2022 年11月底，OpenAI 正式推出 ChatGPT ，不到两个月的时间，月活用户就突破1亿，成为史上增长最快的消费者应用。目前国内已发布的大模型超过200个，大模型的出现彻底改变了我们的生活和学习方式。现在只要你想从事 AI 相关的岗位，无论是计算机视觉（CV）、自然语言处理（NLP）、搜广推、风控等，大模型相关话题都是绕不开的。节前，我们星球群组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、最近参加社招和校招面试的同学。
2024-03-23 08:21:03
1136
原创 Transformer 大厂常见面试题汇总
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学.针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天对Transformer 大厂常见面试题进行汇总，✅1、Transformer模型的基本结构是什么?它是如何改变深度学习领域的?✅2、Transformer为何能够有效地处理长距离依赖问题?与传统RNN和LSTM相比有哪些优势?✅3、多头注意力的作用是什么?
2024-05-02 10:10:13
776
原创 面了理想汽车大模型算法岗，被问的汗流浃背。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。最近一位星球成员面试理想汽车大模型算法岗，被疯狂拷打的经历。今天我把他的面经题整理总结一下，
2024-05-02 09:58:15
1107
原创 2024年最全 NLP 算法岗面试指南及学习笔记
本文是我根据个人面试和经验总结出的自然语言处理(NLP)面试准备的学习笔记与资料，该资料目前包含自然语言处理各领域的面试题积累。
2024-05-01 16:01:09
764
原创 面试科大讯飞 NLP 算法岗(含大模型方向)，被疯狂拷打。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。最近一位星球成员面试科大讯飞 NLP 算法岗，被疯狂拷打的经历。今天我把他的面经题整理总结一下，⾃我介绍介绍⾃⼰的项⽬项⽬中数据语料你怎么评价你⾃⼰构建的数据集的好坏？chatGLM 和 GPT 模型结构⼀样吗⼤模型训练⽅式怎么评价⼈类⾼质量回答的数据集？精⼼处理的数据集作⽤？
2024-05-01 13:59:24
577
原创 一文彻底搞懂 bert（图解+代码手撕）
BERT 代表双向编码器表示来自Transformer（BERT），用于高效地将高度非结构化的文本数据表示为向量。BERT是一个经过训练的 Transformer 编码器堆栈。主要有两种模型大小：BERT BASE和BERT LARGE。上图清楚地显示了BERT BASE和BERT LARGE之间的区别，即编码器的总数量。下图描述了单个编码器的设计。输入表示可以是单个句子或一对句子。在将输入传递到BERT之前，需要嵌入一些特殊的标记。
2024-04-25 23:31:27
1071
原创 高频面试题：Transformer为什么使用多头注意力机制？
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。要知道近年来特别出现了很多（毕竟当前AI顶流）。这里我特别分享15道Transformer高频面试题，希望对你有所帮助。
2024-04-24 22:51:37
782
原创 Llama 3开源！手把手带你推理，部署，微调
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。最近Meta发布了 Meta Llama 3系列，是LLama系列开源大型语言模型的下一代。在接下来的几个月，Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能，并会分享 Llama 3 研究论文。
2024-04-22 23:20:18
1839
原创 跨语言大模型最新综述
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。跨语言大模型（MLLMs）能够利用强大的大型语言模型处理和回应多种语言的查询，在多语言自然语言处理任务中取得了显著的成功。尽管取得了这些突破，但仍然缺乏一份全面的调查总结该领域现有方法和最新发展。
2024-04-22 22:55:27
884
原创 一文彻底搞懂 Transformer（图解+代码手撕）
Transformer 通过其捕捉上下文和理解语言的能力，彻底改变了自然语言处理（NLP）领域。通过注意力机制、编码器-解码器架构和多头注意力，它们使得诸如机器翻译和情感分析等任务得以在前所未有的规模上实现。随着我们继续探索诸如 BERT 和 GPT 等模型，很明显，Transformer 处于语言理解和生成的前沿。它们对 NLP 的影响深远，而与 Transformer 一起的发现之旅将揭示出该领域更多令人瞩目的进展。研究论文。
2024-04-21 20:23:53
1249
原创 精选 50 个大模型高频面试题
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。下面精选50个大模型高频面试题，更多内容，
2024-04-21 10:25:06
919
原创 算法工程师（NLP/搜索推荐/机器学习) 常考面试题总结
背景：女生，top985 CS 本硕，研究生的方向偏向于NLP/搜索推荐，2024届秋招拿了阿里、百度、联想等offer。面试过程中大概记录和整理面试问的高频问题，包括高频很常见的算法面试题（或者说八股文），发上来给大家，希望能够对各位有所帮助～同时感觉有一些特别的变化就是面试题特别的新，大模型相关的内容也会经常出现，祝大家收获心仪的offer！
2024-04-21 10:11:48
713
原创 多模态大语言模型综述
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。去年以来，我们见证了以 GPT-4V 为代表的多模态大语言模型(Multimodal Large Language Model，MLLM)的飞速发展。为此我们对综述进行了重大升级，帮助大家全面了解该领域的发展现状以及潜在的发展方向。MLLM 发展脉络图。
2024-04-17 23:22:46
910
原创 非科班渣硕，春招上岸腾讯 AI Lab NLP 算法岗
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。最近一位星球成员面试腾讯 AI Lab NLP 算法岗。
2024-04-17 23:14:37
972
原创 面了商汤 NLP 算法岗，被拷打了。。。
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，基于Transformer架构。BERT的核心思想是通过在大规模语料库上进行无监督训练，从而学习丰富的语言表示。BERT采用双向（bidirectional）的注意力机制，能够更好地理解上下文信息。在预训练之后，BERT可以通过微调应用于各种下游任务，如文本分类、命名实体识别等。
2024-04-14 15:08:18
845
原创 大模型实战案例：8卡环境微调马斯克开源大模型 Grok-1
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。Grok-1自开源以来，因作为高达314B参数的基础模型，且采用Rust+JAX框架构建，不适配transformers生态，导致使用其进行微调训练成本较高。
2024-04-14 14:56:09
1241
原创 面试 vivo 大模型算法岗（实习），被疯狂拷打。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。最近一位星球成员面试 vivo 大模型算法岗，被疯狂拷打的经历。今天我把他的面经整理总结一下，
2024-04-11 23:04:36
787
原创 LLamaFactory：当下最容易上手的大模型微调工具
近日，国内的一款微调框架发布了自己的论文《LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models》，对他们的框架做了系统性的总结。该框架自推出后迅速出圈，现已斩获15.6k的star，逐步成为当下微调的首选工具。
2024-04-07 22:38:15
1499
原创 阿里千问大模型 Qwen1.5 开源 32B 模型，将开源进行到底！！！
模型参数：词表大小152064，64层、隐藏层维度5120，支持32k长度。],看看指标。从指标上来看，Qwen1.5-32B模型，相较于72B模型有一些差距，但是由于Yi-34B和Llama2-34B很多。Yi在30B级别的地位不保啦。32B-Chat版本模型在MT-Bench榜单上超过8分，并且与72B-Chat版本模型差距较小。Qwen1.5-32B还支持多语言，包括阿拉伯语、西班牙语、法语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语和印尼语等，相关评测如下。
2024-04-07 22:15:02
1515
原创 面了金山和 OPPO 的 NLP 算法岗，还热乎的面经分享给大家
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。分享我们星球上一位超级牛叉的小伙伴的面经。面试基本在两周之内结束掉了，还因为时间冲突推掉了小米和滴滴。因为去年秋招、春招时，看过星主在社群中分享了许多NLP&大模型相关的面经，收获的很多。在这里我也分享一下自己面经，希望大家都能找到理想的工作。哈哈哈，我暂时卷不动了，休息一段时间。
2024-04-04 23:01:32
1114
原创 面了美团大模型算法岗（实习），这次我要上岸了。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。上周我们星球上一位华东师范大学小伙伴给我聊天，跟我分享了他拿到了美团基础研发-大模型算法工程师（实习）的面经。今天我分享出来，希望能帮助到大家，
2024-04-04 22:35:32
1333
原创 大模型面试准备（十四）：再谈一下大火的 MoE
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。之前我写过一篇讲解 MoE 的文章，收到了不少读者的关注和阅读。今天这篇文章再来从应用层面给大家分享一下MoE的主要分类和用法。
2024-04-03 23:51:20
733
原创 面试了微软 bing 应用组大模型算法岗，被自己菜哭了。。。
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。今天我整理了一份来自北大小伙伴的大模型面试题，分享给大家，希望对后续找工作的有所帮助。大家好，我是来自北京大学，专业为计算机，很高兴社群邀请我进行面试分享，这次面的是工程院 bing 团队的 LLM 应用组，问的问题量不大，有一些比较开放性的问题比较有意思。今天分享给大家：自我介绍 两面都有。
2024-04-02 23:34:51
1292
原创 大模型面试准备（十三）：怎样对预训练模型进行指令微调，让英文大语言模型支持中文？
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。本篇文章再来介绍下。
2024-04-02 23:19:17
921
原创 大模型面试准备（十二）：怎样利用预训练方法让英文大语言模型可以很好的支持中文？
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。合集在这里：《大模型面试宝典》(2024版) 正式发布！上篇文章讲了怎讲构建中文tokenization让英文大语言模型支持中文，详情：大模型面试准备（十一）：怎样让英文大语言模型可以很好的支持中文？本篇文章再来介绍下对中文继续预训练。喜欢本文记得收藏、关注、点赞。文末提供技术交
2024-03-31 10:21:50
1101
原创 大模型面试准备（十一）：怎样让英文大语言模型可以很好的支持中文？
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。如何构建中文tokenization？本篇文章手把手教你：使用 sentencepiece 训练一个中文的词表。使用 transformers 加载 sentencepiece 模型。合并中英文的词表，并使用 transformers 使用合并后的词表。在模型中使用新词表。
2024-03-31 10:08:39
1082
原创 大模型面试准备（十）：大模型数据处理方法及优秀的开源数据介绍
所使用的**指标包括字母重复度、单词重复度、特殊字符、困惑度等。**完整的指标列表可以参考文献[3]。这些指标根据每个来源的不同，进行了两种主要的调整：针对每种语言单独选择参数，如阈值等；人工浏览每个数据来源，以确定哪些指标最可能识别出非自然语言。
2024-03-31 09:53:22
1279
原创 面了小米 NLP 算法工程师（暑期实习），彻底凉了。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。上周我们星球上一位小伙伴给我聊天，跟我分享了他面试小米 NLP 算法工程师（暑期实习）的面经。后悔没有认真准备，大意失荆州了。今天我分享出来，希望能帮助到大家，同时我想特别强调一下，最近的算法面试出的题特别的新，已经有多位同学跟我反馈过了，之前都没有经历过！
2024-03-30 23:46:27
710
原创 面试深信服大模型算法岗，收到 Offer 了
2.1 基础面2.1.1 说一下 Transformer 基本组成结构?2.1.2 介绍一下 self- attention?2.1.3 为什么 在Scaled Dot- Product Attention中要除以 sqrt(dk)?2.1.4 多头注意力机制如何实现？2.1.5 Transformer 在两个地方使用到 Mask 机制，分别介绍一下？2.1.6 Transformer 中的Positional Encoding有什么作用？
2024-03-30 22:55:11
911
原创 大模型面试准备（九）：简单透彻理解MoE
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。LLM 时代流传着一个法则：Scaling Law，即通过某种维度的指数上升可以带来指标的线性提升。如下图所示，在 Compute、Data、Parameter 三个维度上的指数上升可以带来在 test loss 上的线性下降。
2024-03-30 09:37:37
1251
原创 大模型面试准备（八）：一文详解国产大模型导师 LLaMA v1和v2
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。ChatGPT （GPT-3.5/GPT-4）固然惊艳，但叫开源人工智能的 OpenAI 并没有将其开源，国内外正干着急之际，关键时刻还得看开源界一哥 Meta。
2024-03-30 09:01:20
869
原创 大模型面试准备（七）：ChatGPT 的内核 InstructGPT 详细解读
总的来说，InstructGPT 相对于之前的 GPT 系列，有以下几点值得注意：解决 GPT-3 的输出与人类意图之间的 Align 问题；让具备丰富世界知识的大模型，学习“人类偏好”；标注人员明显感觉 InstructGPT 的输出比 GPT-3 的输出更好，更可靠；InstructGPT 在真实性，丰富度上表现更好；InstructGPT 对有害结果的生成控制的更好，但是对于“偏见”没有明显改善；基于指令微调后，在公开任务测试集上的表现仍然良好；
2024-03-28 23:47:19
1038
原创 大模型面试准备（六）：一文讲透生成式预训练模型 GPT、GPT2、GPT3
多任务学习（Multi-Task Learning, MTL）是一种机器学习方法，它可以通过同时学习多个相关的任务来提高模型的性能和泛化能力。与单任务学习只针对单个任务进行模型训练不同，多任务学习通过共享模型的部分参数来同时学习多个任务，从而可以更有效地利用数据，提高模型的预测能力和效率。如何做到多任务学习呢？
2024-03-28 23:25:42
952
原创 大模型面试准备（五）：图解 Transformer 最关键模块 MHA
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。合集在这里：《大模型面试宝典》(2024版) 正式发布！Transformer 原始论文中的模型结构如下图所示：上一篇文章讲解了 Transformer 的关键模块 Positional Encoding（大家可以自行翻阅），本篇文章讲解一下 Transformer 的最重要模块 Multi-H
2024-03-26 23:05:05
881
原创 2024年大模型面试准备（四）：大模型面试必会的位置编码（绝对位置编码sinusoidal，旋转位置编码RoPE，以及相对位置编码ALiBi）
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。Transformer 模型在处理序列数据时，其，但这样做的代价是丧失了序列中的元素顺序信息。由于自注意力机制并不考虑元素在序列中的位置，所以在输入序列的任何置换下都是不变的，这就意味着。在许多自然语言处理任务中，，所以需要一种方法来让模型捕获这一信息。
2024-03-26 22:26:51
903
原创 面了字节 NLP 算法工程师(含大模型方向)，跪了。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。之前文章分享了百度、科大讯飞、阿里和腾讯的面试题，很多同学后台催更，那这次来盘点字节今年有趣的一面题目。再次强调：AIGC 相关的面试题猛增，特别是今年爆火的大模型、多模态、扩散模型考察的知识点越来越多。这里特别整理了几道字节一面中有意思的面试题，看看下图中的题目，你确定都会么？！
2024-03-25 23:38:44
1544
原创 2024年大模型面试准备（三）：聊一聊大模型的幻觉问题
不遵循原文（Faithfulness）或者不符合事实（Factualness）在传统任务里，幻觉大都是指的是Faithfulness：Intrinsic Hallucination（信息冲突）LMs在生成回复时，与输入信息产生了冲突，例如摘要问题里，abstract和document的信息不一致。Extrinsic Hallucination（无中生有）LMs在生成回复时，输出一些并没有体现在输入中的额外信息，比如邮箱地址、电话号码、住址，并且难以验证其真假。
2024-03-25 22:42:59
1229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人