- 博客(449)
- 收藏
- 关注
RSS订阅
原创 重磅来袭！《大模型面试宝典》(2024版) 发布！
2022 年11月底，OpenAI 正式推出 ChatGPT ，不到两个月的时间，月活用户就突破1亿，成为史上增长最快的消费者应用。目前国内已发布的大模型超过200个，大模型的出现彻底改变了我们的生活和学习方式。现在只要你想从事 AI 相关的岗位，无论是计算机视觉（CV）、自然语言处理（NLP）、搜广推、风控等，大模型相关话题都是绕不开的。节前，我们星球群组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、最近参加社招和校招面试的同学。
2024-03-23 10:06:20
923
原创 重磅来袭！《大模型实战宝典》(2024版) 发布！
2024 年刚开年，OpenAI 推出的文生视频工具 Sora 再次风靡全球，成为 OpenAI 继 ChatGPT 之后新的生成式 AI 标杆。关于大模型的话题不断涌现，令人应接不暇，截至到目前，国内大模型已发布数量超过200个。去年我们写了一本《大模型实战宝典》（以下简称《实战宝典》），有很多小伙伴订阅，反馈内容通俗易懂，有基础知识做铺垫，收获了很多。今年年初开始，就开始计划内容大版本升级，前期也做了很多准备工作。
2024-03-23 10:04:23
695
原创 比 PyTorch 的官方文档还香啊，吃透PyTorch中文版来了
PyTorch 作为学生以及研究人员首选的热门框架之一，拥有易用性等优势。具备简约性、通用性的资料才是好资料。如果说 PyTorch 的官方文档的掌握难度是5级，那它的难度大概为2级，难度虽然低了，但知识点一个却没有少。教程里有什么？教程根据官方提供的文档，尽量完整的进行了还原。包括简单的PyTorch建模流程，核心概念，层次结构，低、中、高阶API等等。部分内容如下，建模数据准备：模型范例：低阶API示范：可视化人工绘图：教程目录上下滑动即可查看完整目录▼一、Pytorch的建
2022-01-04 21:48:33
3655
3
原创 我最喜欢的10个顶级数据科学资源，kaggle、TDS、arXiv......
当我声明数据科学正在成为最受欢迎的工作领域之一时，我想你不会与我争辩，特别是考虑到《哈佛商业评论》将 "数据科学家 "评为21世纪最性感的工作。在这个领域，我们已经走过了很长的路，从数据科学和机器学习等术语还不为人所知，到一切都聚集在统计学的保护伞下的时代。然而，我们还远远没有走到终点。这也可能是数据科学的一个分界点——这个领域发展得非常迅速，甚至很难跟上所有新的算法、技术和方法。因此，在数据科学领域工作，与软件工程类似，
2021-12-17 16:08:34
659
原创 画出漂亮的神经网络图，神经网络可视化工具大汇总
分享几款画神经网络图神器，喜欢欢迎点赞、关注、收藏。1. draw_convnet一个用于画卷积神经网络的Python脚本https://github.com/gwding/draw_convnet2. NNSVGhttp://alexlenail.me/NN-SVG/LeNet.html3. PlotNeuralNethttps://github.com/HarisIqbal88/PlotNeuralNet使用latex 来展示神经网络4. Tensorboardhttps:
2021-12-16 20:05:34
2922
原创 PyCaret时序模块更新：支持30+时序模型
PyCaret是一个开源、低代码的Python机器学习库，可自动执行机器学习工作流。它是一种端到端的机器学习和模型管理工具，可以以指数方式加快实验周期并提高您的工作效率。与其他开源机器学习库相比，PyCaret是一个替代的低代码库，可用于仅用几行代码替换数百行代码。这使得实验速度和效率呈指数级增长。PyCaret本质上是围绕多个机器学习库和框架（例如 scikit-learn、XGBoost、LightGBM、CatBoost、spaCy、Optuna、Hyperopt、Ray 等的Python包装器。
2021-12-15 22:41:13
1503
3
原创 何恺明一作论文 MAE 已有人复现（Pytorch版）
何恺明大佬新作一发出来，知乎上就有众多大佬在讨论除了大家对何恺明大佬的工作的肯定外（当然部分认为novelty不足），也引发对未来CV工作的思考，是否会引领类似去年 transformer那样子的热潮？亦或是证明ViT的各种改变可能都是没有意义的。这次何恺明大佬又把握了技术发展的趋势，NLP和CV互相融合的工作看来会是大势所趋。论文链接：https://arxiv.org/pdf/2111.06377.pdf复现代码：https://github.com/pengzhiliang/MAE-py
2021-12-01 10:16:58
1789
1
原创 何恺明MAE大火之后，想梳理下视觉Transformer？这篇综述帮你梳理了100多个
在这篇论文中，Yang Liu 等几位研究者全面回顾了用于三个基本 CV 任务（分类、检测和分割）的 100 多个视觉 Transfomer。这段时间，计算机视觉圈有点热闹。先是何恺明等人用简单的掩蔽自编码器MAE证明了 Transformer 扩展到 CV 大模型的光明前景；紧接着，字节跳动又推出了部分指标超过 MAE 的新方法iBOT，将十几项视觉任务的 SOTA 又往前推了一步。这些进展给该领域的研究者带来了很大的鼓舞。在这样一个节点，我们有必要梳理一下 CV 领域 Transformer 模.
2021-11-26 13:06:21
883
原创 还在纠结CNN还是Transformer？清华发表一篇survey：全连接层才是终极答案
随着神经网络的发展，各种各样的模型都被研究出来，卷积、Transformer也是计算机视觉中国常用的模型，而最近清华大学发表了一篇survey，研究结果或许表明全连接层才是最适合视觉的模型，并将迎来新的AI范式转换！多层感知机（MLP）或全连接（FC）网络是历史上第一个神经网络结构，由多层线性层和非线性激活叠加而成，但受到当时硬件计算能力和数据集大小的限制，这颗明珠被埋没了数十年。这场人工智能变革也带来了一次AI范式的转换，从手工抽取特征到CNN自动抽取局部特征，基于深度学习的计算机视觉的就是利用多层
2021-11-24 14:22:40
2626
原创 可定制算法和环境，这个开源强化学习框架火了
强化学习框架怎么选？不如自己定制一个。强化学习（reinforcement learning，RL）是近年来最受关注的人工智能研究方向之一，在机器人、游戏等领域应用甚广。现有的强化学习框架往往无法支持高效、定制化的训练场景的问题。近日，GitHub 上一个名为 JORLDY 的开源、可定制强化学习（RL）框架引发关注。项目地址：https://github.com/kakaoenterprise/JORLDYJORLDY 的主要优点是提供多种分布式强化学习算法，并且易于定制。由于 JORLDY 目
2021-11-20 15:09:43
3766
原创 面试科大讯飞NLP算法岗，凉经。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天整理了我们社群一位球友面试科大讯飞NLP算法岗的面经，✅1. 自我介绍✅2. 简历项目（问的⽐较细，每个项目都会问一下）✅3. 介绍Lora一下✅4. 了解哪些商用的大模型，都有什么优缺点✅5. 介绍一下QLora✅6. 量化的优点，如何量化。
2024-05-03 09:07:01
530
原创 面试快手计算机视觉算法岗，太卷了。。。
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天我整理星球中一位女生面试快手算法的面经，分享给大家，希望对后续找工作的有所帮助。✅1、介绍一下ReLU，LeakyReLU✅2、ReLU的优缺点✅3、ReLU激活函数是如何解决梯度消失和梯度爆炸问题的？✅4、什么是梯度消失和梯度爆炸？什么单元更容易出现梯度消失梯度爆炸的问题？
2024-05-03 09:01:26
540
原创 大模型面试八股整理 bert 篇
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学.针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天对 bert 大厂常见面试题进行汇总，a. Self-Attention的表达式b. 为什么上面那个公式要对QK进行scalingc. self-attention一定要这样表达吗？d. 有其他方法不用除根号dk吗？e. 为什么transformer用LayerNorm。
2024-05-02 22:43:51
508
原创 面了滴滴 NLP 算法工程师（实习），最终还是挂了。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天分享一位球友面试滴滴NLP算法岗的面经。先说结论：滴滴两次技术面，没有hr面试机会了。第一次技术面问了transformer和bert的基础知识。先是问了知道transformer的架构如何设计的么？让我介绍下transformer的block的结构。
2024-05-01 15:29:03
876
原创 面试小红书算法岗，希望这次可以上岸。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天分享一位球友面试小红书算法岗的面经。面试内容：1.自我介绍2.聊项目3.hitrate计算4.双塔模型线上如何检索的5.余弦相似度和欧式距离6.bert模型结构和预训练任务7.ELMO和GPT8.多头注意力中为什么需要W矩阵9.QKV物理意义。
2024-05-01 14:46:17
568
原创 将聊天记录与 LangChain 集成：为提升对话机器人体验提供了一种变革性的解决方案
将聊天记录与 LangChain 集成，围绕着赋予AI系统记住过去对话并利用它们来影响当前交互的能力。它涉及将历史消息无缝地融入正在进行的对话中，为用户创造了丰富的交互画面。整合的好处将聊天记录与LangChain集成产生了多种好处，彻底改变了对话人工智能的格局：增强上下文理解：通过利用过去的交互，AI系统能够更深入地理解用户查询，从而提供更加细致和与上下文相关的响应。提高连贯性：无缝地整合聊天记录有助于在对话中保持连续性，消除了与独立交互经常相关的不连贯性。
2024-04-30 17:18:06
900
原创 中文版 Llama3 模型来了，中文效果欠佳问题得到解决！
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。最近，Meta 推出了 Llama 3，为开源大模型树立了新的标杆。和以往的原始 Llama 模型一样，Llama 3 对中文的支持效果欠佳，经常会出现你用中文提问，它用英文或中文+英文回复的现象。因此，要想让国内用户用上该模型，开发者还需对其进行微调。
2024-04-24 22:31:29
869
原创 用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3-8B 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。
2024-04-24 22:20:56
961
原创 通义千问 Qwen-14B 模型微调实战案例及经验总结
微调是指在已经预训练好的深度学习模型基础上，通过进一步训练来适应特定任务或数据集。这种方法允许我们在具有大规模通用知识的模型基础上，更好地适应特定领域或任务。通俗点讲，就是用通用模型作为基础，配合上特定场景的数据做进一步训练，得到适合特定场景的模型。
2024-04-20 23:41:40
1340
原创 图解 transformer 中的自注意力机制
注意力机制（attention mechanism）是Transformer模型中的重要组成部分。Transformer是一种基于自注意力机制（self-attention）的神经网络模型，广泛应用于自然语言处理任务，如机器翻译、文本生成和语言模型等。本文介绍的自注意力机制是Transformer模型的基础，在此基础之上衍生发展出了各种不同的更加高效的注意力机制，所以深入了解自注意力机制，将能够更好地理解Transformer模型的设计原理和工作机制，以及如何在具体的各种任务中应用和调整模型。
2024-04-20 23:33:08
713
原创 理想大模型实习面试题6道|含解析
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。layernorm和batchnorm的区别：LN中同层神经元输入拥有相同的均值和方差，不同的输入样本有不同的均值和方差；BN中则针对不同神经元输入计算均值和方差，同一个batch中的输入拥有相同的均值和方差。
2024-04-13 23:55:22
1018
原创 超详细解读 Transformer 框架！建议收藏!
首先我们先对Transformer来个直观的认识。Transformer出现以前，NLP领域应用基本都是以RNN或LSTM循环处理完成，一个token一个tokrn输入到模型中。模型本身是一种顺序结构，包含token在序列中的位置信息。但是存在了一些问题：会出现梯度消失现象，无法支持长时间序列。句子越靠后的token对结果的影响越大。只能利用上文信息，无法获取下文信息。循环网络逐个token输入，也就是句子有多长就要循环多少遍，计算的效率低。
2024-04-13 20:32:27
592
原创 面了钉钉搜广增算法岗（暑期实习），秒挂。。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天分享我们社群小伙伴的面经，面了钉钉搜广推方向的算法岗，表示没有好好准备，错失了一次很好的机会，特别后悔。面试题整理一下分享给大家，形式：电话面试时间：2024年4月9日 10：00，总计38分钟。
2024-04-09 22:00:41
718
原创 百度机器学习算法春招一二三面面经
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
2024-04-09 21:38:40
951
原创 万得AI算法工程师一面面试题6道|含解析
yolov8算法的模块：Backbone：通常使用一些预训练的卷积神经网络 (CNN)，如Darknet、ResNet、EfficientNet 等，用于提取图像的特征。Neck：用于进一步处理和整合特征，通常包括一些卷积层和池化层等。Head：目标检测的关键部分，包括预测目标的边界框、类别以及置信度等。NMS (Non-Maximum Suppression，非极大值抑制) 是目标检测领域常用的一种算法，用于去除检测到的重叠较多的边界框，保留最具代表性的边界框。
2024-04-07 22:59:26
523
原创 超越GPT-4，斯坦福团队手机可跑的大模型火了，一夜下载量超2k
Octopus-V2-2B 是一个拥有 20 亿参数的开源语言模型，专为 Android API 量身定制，旨在在 Android 设备上无缝运行，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。通常，检索增强生成 (RAG) 方法需要对潜在函数参数进行详细描述（有时需要多达数万个输入 token）。
2024-04-07 22:47:53
644
原创 面了腾讯 PCG 技术线的推荐算法岗，面试体验很丝滑！
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天分享一文技术群小伙伴的面经，希望对大家找工作有帮助，大家好，腾讯这次面试体验很丝滑，虽然不知道能不能过，但是面试官给我感觉非常不错，应该是目前体验最好的面试官了！希望能过！
2024-04-04 23:51:16
395
原创 《搜广推算法指南》(2024版) 重磅发布！
因篇幅有限，《搜广推算法指南》（2024版）部分目录如下。本次增加了业内推荐系统与大模型相结合的实践案例，增加了最新的搜广推与大模型相结合的面试题，丰富了搜广推的基础理论、编程能力部门，删除了一些过时的内容。
2024-04-04 23:33:56
1129
原创 五倍吞吐量，性能全面包围 Transformer：新架构 Mamba 引爆AI圈
屹立不倒的 Transformer 迎来了一个强劲竞争者。在别的领域，如果你想形容一个东西非常重要，你可能将其形容为「撑起了某领域的半壁江山」。但在 AI 大模型领域，Transformer 架构不能这么形容，因为它几乎撑起了「整个江山」。自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。
2024-03-31 15:59:35
954
原创 微软最新10道算法岗面试题！
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今年的算法面试题太新了吧！AIGC相关的面试题猛增，特别是去年到今年爆火的大模型、多模态、扩散模型、SAM、Mamba考察的知识点越来越多。我特别整理了10道微软近期面经中代表性的算法面试题，你看看都会么？SAM轻量级变体有哪些？LoRA和adapter哪个效果好？
2024-03-31 15:50:01
537
原创 华为这些一面算法岗面试题！真硬啊。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今年的算法面试题真是够"新颖的"。。。在我们社群上每天都有人在交流一些没有见过的题该怎么解决。AIGC相关的面试题猛增，特别是去年到今年爆火的大模型、多模态、扩散模型、SAM考察的知识点越来越多。这里特别整理了几道华为一面中代表性的算法面试题：大家要学会举一反三！
2024-03-31 15:37:37
829
原创 Mistral 7B v0.2 基础模型开源，大模型微调实践来了
Mistral AI在3月24日突然发布并开源了 Mistral 7B v0.2模型，有如下几个特点：和上一代Mistral v0.1版本相比，，上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个token或文本片段的大小范围。随着上下文窗口长度的增加,模型可以提供更丰富的语义信息,用户使用时，体验能提升不少，也能很好的应用于RAG场景或者Agent场景这类对上下文长度要求比较高的场景。
2024-03-30 16:27:52
1646
原创 上海人工智能实验室大模型算法岗（实习）面经分享
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天分享的这位同学来自我们星球成员，面经汇总如下，大家好，我是来自华东师范大学，专业为计算机系，面了上海人工智能实验室大模型算法岗（实习）问的很细很深，狠狠拷打了80分钟，这个组做 LLM pretrain 的，我主要会 rl，nlp 缺乏点，面完感觉不是特别好。
2024-03-30 16:16:17
1370
原创 面了2家大厂的算法岗（实习），大模型成了送命题！
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天分享一位我们的星球成员，今年研二，想暑期实习，面试了几家公司的算法岗（实习），面试公司及面试题汇总如下，
2024-03-30 16:06:30
736
原创 字节算法岗二面，凉凉。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。之前文章分享了百度、科大讯飞、阿里和腾讯的面试题，很多同学后台催更，那这次来盘点字节今年有趣的二面题目。再次强调：AIGC 相关的面试题猛增，特别是今年爆火的大模型、多模态、扩散模型考察的知识点越来越多。这里特别整理了几道字节二面中有意思的面试题，看看下图中的题目，你确定都会么？！
2024-03-25 23:14:42
1024
原创 腾讯这10道算法面试题，看完跪了。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。目前春招和暑期实习已全面启动！面试题需要刷起来了！大家要抓紧时间了！今年最大的特点就是算法面试题特别的新！AIGC 相关的面试题猛增，特别是去年到今年爆火的大模型、多模态、扩散模型、SAM考察的知识点越来越多。这里特别整理了10道腾讯近期面经中代表性的算法面试题，你确定都会么？
2024-03-25 22:59:50
1179
原创 大模型时代，向量数据库为何如此受欢迎？
向量数据库是一种专门用来存储多维向量表示特定特征或质量信息的数据库。每个向量的维度数量可以在一定范围内有很大的变化，从几个到几千个不等，具体取决于数据的复杂性和细节。这些数据可以包括文本、图像、音频和视频等多种类型，通过使用机器学习模型、词嵌入或特征提取技术等各种过程将其转换为向量。向量数据库的主要优势在于它能够快速和精确地按照向量的距离或相似性定位和检索数据。这意味着可以基于语义或上下文相关性进行搜索，而不仅仅依赖于传统数据库中的精确匹配或预设标准。
2024-03-23 10:44:17
635
原创 NVIDIA 最新 GPU 解读：GB200、NVL72、SuperPod-576GPU
一、背景之前我们具体介绍过 NVIDIA 的 GPU，包括详细的架构、算力、NVLink 和 NVSwitch 互联方式等。借着 NVIDIA 在发布最新、最强大的 Blackwell 系列 GPU B200 和 GB200 的契机，简单补充一下相关的参数信息，以及互联方式等。
2024-03-22 23:21:08
1674
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人