自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(556)
  • 收藏
  • 关注

原创 《大模型面试宝典》(2025版)来了

大部分人可能想不到,2025年春节假期,大模型圈子竟然会这么热闹。DeepSeek 正式开源了 DeepSeek-R1,在数学、代码和自然语言推理等任务上比肩 OpenAI o1 正式版。这位来自「神秘东方力量」DeepSeek 算是彻底破圈,火遍大江南北,火到人尽皆知。经历了过去两年的狂飙,国内大模型已经在多个垂直赛道中强势崛起,跨过了护城河,已发布的模型超过200个,相关应用产品不计其数。

2025-02-04 16:15:53 1060

原创 彻底火了!《AIGC 面试宝典》圈粉无数!

2022 年下半年以来,文本生成图像快速出圈,多款应用持续火爆。国外文生图代表:Midjourney、Stable Diffusion、OpenAI 的 DALL-E:海外模型SD开源,进一步促进了国内大厂的研究热情和应用落地:随着多模态技术迭代,图像生成、视频生成、3D生成、音频生成等 AIGC 应用加速落地,相关岗位需求特别旺盛。节前,我们星球群组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、最近参加社招和校招面试的同学。

2024-05-20 23:17:28 2242

原创 《机器学习算法面试宝典》重磅发布!

我们经常会组织场算法岗技术&面试讨论会,会邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。基于讨论和经验总结,历时半年的梳理和修改,《机器学习算法面试宝典》(以下简称《算法面试宝典》)终于可以跟大家见面了。

2024-05-05 22:38:03 1179

原创 重磅来袭!《大模型面试宝典》(2024版) 发布!

2022 年11月底,OpenAI 正式推出 ChatGPT ,不到两个月的时间,月活用户就突破1亿,成为史上增长最快的消费者应用。目前国内已发布的大模型超过200个,大模型的出现彻底改变了我们的生活和学习方式。现在只要你想从事 AI 相关的岗位,无论是计算机视觉(CV)、自然语言处理(NLP)、搜广推、风控等,大模型相关话题都是绕不开的。节前,我们星球群组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、最近参加社招和校招面试的同学。

2024-03-23 10:06:20 2218

原创 重磅来袭!《大模型实战宝典》(2024版) 发布!

2024 年刚开年,OpenAI 推出的文生视频工具 Sora 再次风靡全球,成为 OpenAI 继 ChatGPT 之后新的生成式 AI 标杆。关于大模型的话题不断涌现,令人应接不暇,截至到目前,国内大模型已发布数量超过200个。去年我们写了一本《大模型实战宝典》(以下简称《实战宝典》),有很多小伙伴订阅,反馈内容通俗易懂,有基础知识做铺垫,收获了很多。今年年初开始,就开始计划内容大版本升级,前期也做了很多准备工作。

2024-03-23 10:04:23 1076

原创 比 PyTorch 的官方文档还香啊,吃透PyTorch中文版来了

PyTorch 作为学生以及研究人员首选的热门框架之一,拥有易用性等优势。具备简约性、通用性的资料才是好资料。如果说 PyTorch 的官方文档的掌握难度是5级,那它的难度大概为2级,难度虽然低了,但知识点一个却没有少。教程里有什么?教程根据官方提供的文档,尽量完整的进行了还原。包括简单的PyTorch建模流程,核心概念,层次结构,低、中、高阶API等等。部分内容如下,建模数据准备:模型范例:低阶API示范:可视化人工绘图:教程目录上下滑动即可查看完整目录▼一、Pytorch的建

2022-01-04 21:48:33 3768 3

原创 我最喜欢的10个顶级数据科学资源,kaggle、TDS、arXiv......

当我声明数据科学正在成为最受欢迎的工作领域之一时,我想你不会与我争辩,特别是考虑到《哈佛商业评论》将 "数据科学家 "评为21世纪最性感的工作。在这个领域,我们已经走过了很长的路,从数据科学和机器学习等术语还不为人所知,到一切都聚集在统计学的保护伞下的时代。然而,我们还远远没有走到终点。这也可能是数据科学的一个分界点——这个领域发展得非常迅速,甚至很难跟上所有新的算法、技术和方法。因此,在数据科学领域工作,与软件工程类似,

2021-12-17 16:08:34 936

原创 画出漂亮的神经网络图,神经网络可视化工具大汇总

分享几款画神经网络图神器,喜欢欢迎点赞、关注、收藏。1. draw_convnet一个用于画卷积神经网络的Python脚本https://github.com/gwding/draw_convnet2. NNSVGhttp://alexlenail.me/NN-SVG/LeNet.html3. PlotNeuralNethttps://github.com/HarisIqbal88/PlotNeuralNet使用latex 来展示神经网络4. Tensorboardhttps:

2021-12-16 20:05:34 3317

原创 PyCaret时序模块更新:支持30+时序模型

PyCaret是一个开源、低代码的Python机器学习库,可自动执行机器学习工作流。它是一种端到端的机器学习和模型管理工具,可以以指数方式加快实验周期并提高您的工作效率。与其他开源机器学习库相比,PyCaret是一个替代的低代码库,可用于仅用几行代码替换数百行代码。这使得实验速度和效率呈指数级增长。PyCaret本质上是围绕多个机器学习库和框架(例如 scikit-learn、XGBoost、LightGBM、CatBoost、spaCy、Optuna、Hyperopt、Ray 等的Python包装器。

2021-12-15 22:41:13 1599 3

原创 何恺明一作论文 MAE 已有人复现(Pytorch版)

何恺明大佬新作一发出来,知乎上就有众多大佬在讨论除了大家对何恺明大佬的工作的肯定外(当然部分认为novelty不足),也引发对未来CV工作的思考,是否会引领类似去年 transformer那样子的热潮?亦或是证明ViT的各种改变可能都是没有意义的。这次何恺明大佬又把握了技术发展的趋势,NLP和CV互相融合的工作看来会是大势所趋。论文链接:https://arxiv.org/pdf/2111.06377.pdf复现代码:https://github.com/pengzhiliang/MAE-py

2021-12-01 10:16:58 1885 1

原创 何恺明MAE大火之后,想梳理下视觉Transformer?这篇综述帮你梳理了100多个

在这篇论文中,Yang Liu 等几位研究者全面回顾了用于三个基本 CV 任务(分类、检测和分割)的 100 多个视觉 Transfomer。这段时间,计算机视觉圈有点热闹。先是何恺明等人用简单的掩蔽自编码器MAE证明了 Transformer 扩展到 CV 大模型的光明前景;紧接着,字节跳动又推出了部分指标超过 MAE 的新方法iBOT,将十几项视觉任务的 SOTA 又往前推了一步。这些进展给该领域的研究者带来了很大的鼓舞。在这样一个节点,我们有必要梳理一下 CV 领域 Transformer 模.

2021-11-26 13:06:21 955

原创 还在纠结CNN还是Transformer?清华发表一篇survey:全连接层才是终极答案

随着神经网络的发展,各种各样的模型都被研究出来,卷积、Transformer也是计算机视觉中国常用的模型,而最近清华大学发表了一篇survey,研究结果或许表明全连接层才是最适合视觉的模型,并将迎来新的AI范式转换!多层感知机(MLP)或全连接(FC)网络是历史上第一个神经网络结构,由多层线性层和非线性激活叠加而成,但受到当时硬件计算能力和数据集大小的限制,这颗明珠被埋没了数十年。这场人工智能变革也带来了一次AI范式的转换,从手工抽取特征到CNN自动抽取局部特征,基于深度学习的计算机视觉的就是利用多层

2021-11-24 14:22:40 2735

原创 可定制算法和环境,这个开源强化学习框架火了

强化学习框架怎么选?不如自己定制一个。强化学习(reinforcement learning,RL)是近年来最受关注的人工智能研究方向之一,在机器人、游戏等领域应用甚广。现有的强化学习框架往往无法支持高效、定制化的训练场景的问题。近日,GitHub 上一个名为 JORLDY 的开源、可定制强化学习(RL)框架引发关注。项目地址:https://github.com/kakaoenterprise/JORLDYJORLDY 的主要优点是提供多种分布式强化学习算法,并且易于定制。由于 JORLDY 目

2021-11-20 15:09:43 3840

原创 图解 DeepSeek

如下图介绍DeepSeek最核心的创新R1-Zero,通过示意图大家更容易理解DeepSeek训练是基于V3模型,跳过监督微调,直接大规模强化学习,得到R1-Zero。R1刚发布两周左右,目前介绍DeepSeek部署的文章已有一些,但关于DeepSeek背后基本原理讲解的教程,目前平台相对匮乏。很多朋友已在本地搭建了DeepSeek,接下来最好了解下DeepSeek基本知识,懂一些基本原理,于是有了今天这个教程《DeepSeek图解》,我原创的一个精简小册子。求职者在变多,HC 在变少,岗位要求还更高了。

2025-02-05 22:20:46 1120

原创 轻松搞定啦,本地化部署DeepSeek R1 大模型

最近这一两周不少公司都已经停止秋招了。不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。2025年新春,科技界迎来了一则重磅消息:DeepSeek开源发布了R1版本。尽管这是一个经过蒸馏的“小模型”(相较于大模型的参数量和训练算力需求),但其表现却能与OpenAI-O1-min相媲美。

2025-02-05 22:11:36 775

原创 基于deepseek 搭建个人知识库,支持Word、PDF、txt等,一般电脑也能玩。

充分释放大模型能力,因为使用的是文档检索,而不是语义向量所以检索会更加高效,大大提升了回复效率;这是搭建个人知识库最有价值的地方,当自动检索出文档后,会自动输到大模型中,然后自动做总结分析,比较方便。比如,隐私的财务数据可以借力AI大模型做总结,股票数据实时接入到大模型做数据分析,个人word文档批量读取做总结等。3 大模型辅助分析:比如搜索“小明收支账本”,系统会自动检索相关内容,还能用大模型给出智能总结,堪称你的私人助理。本地部署大模型,再构建个人知识库,跑自己的文档、数据等,有很多好处。

2025-02-04 16:24:36 984

原创 DeepSeek 接入 Python,一般电脑也能飞速跑,确实可以封神了!

电脑没有大显存GPU的朋友,推荐安装1.5b尺寸,这版尺寸普通电脑无GPU的都能流畅运行,延时几乎在1-2秒,更为关键的是,DeepSeek-r1之所以爆出圈有一个重要原因,小尺寸模型回答质量也很高,即便1.5b如此小的参数尺寸亦如此。大模型在本地搭建,除了能够方便个人知识库管理,详见上一篇介绍,还能提效编程学习,比如Python,Java等,学编程就像学做事的思路和逻辑,挺重要也很有意思。,安装Pycharm社区版,完全免费,下载地址在我的公众号后台回复:Pycharm,即可获取。

2025-02-03 23:14:00 544

原创 DeepSeek R1本地部署,小白教程来了!

希望这个教程可以帮到大家,在 DeepSeek 遭受 DDOS 攻击无法使用之时。

2025-02-03 23:10:08 793

原创 入门 Transformer:概念、代码与流程详解

论文《Attention is All You Need》(Vaswani等,2017)提出了Transformer架构,这一模型通过完全摒弃标准的循环神经网络(RNN)组件,彻底改变了自然语言处理(NLP)领域。相反,它利用了一种称为“注意力”的机制,让模型在生成输出时决定如何关注输入的特定部分(如句子中的单词)。如果词汇表大小为6(例如,词元如[“Bye”, “Hello”等]),且d_model为512,embedding层将每个词元映射到一个512维向量。它确保每个输入向量的均值为0,方差为1。

2025-02-03 23:06:03 724

原创 掌握Ollama和Nexa AI的安装与使用,轻松部署大模型

最近这一两周不少公司都已经停止秋招了。不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。掌握Ollama和Nexa AI的安装与使用,让本地运行AI模型变得轻松。掌握如何在本地机器上安装和使用Ollama与Nexa AI,这两个平台将帮助开发者能够轻松运行和管理AI模型。本文分享安装和基本使用方法。

2025-01-10 17:14:05 989

原创 利用 Milvus 向量数据库,带你实现大模型 GraphRAG

本文带领大家深入了解了GraphRAG技术,这是一种融合知识图谱来强化RAG应用的创新手段。GraphRAG特别擅长处理那些需要跨信息片段进行多步骤推理和全面回答问题的复杂任务。结合Milvus向量数据库后,GraphRAG能够高效地在庞大的数据集中探索复杂的语义联系,从而得出更精准、更深刻的分析结果。这种强强联合的解决方案,使GraphRAG成为众多实际通用人工智能(GenAI)应用中的得力助手,为理解和处理复杂信息提供了强有力的支持。

2025-01-10 17:06:44 886

原创 聊聊做大模型落地的这两年

可是然后呢,站在toC的这个C的一员看,我好像并没有特别切身感受到什么不可替代的影响。而回到码农这个本职身份上来说,这两年我做的是toC的llm落地,算法和infra都做,主要是考虑用传统dl算法做的事情用llm替换掉,此时产品形态已不再是单纯的搜索引擎,而是复用已有的业务设计,但是大部分情况下,替换真得只是“换”,而没有非常显著的迭代改进。归根究底,我觉得现在的llm缺一个好的产品形态,东西再好,人们用不起来,或者能用的功能太窄,或者常用的就是那么些特定人群,这些都让我时常觉得llm的上面掩着一层泡沫。

2024-12-29 18:35:01 304

原创 基于华为昇腾 910B,使用 XTuner 微调一个大模型个人小助手

XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。查看帮助查看版本列出所有预定义配置文件列出包含指定名称的预定义配置文件xtuner list-cfg 命令用于列出内置的所有配置文件。参数 -p 或 --pattern 表示模式匹配,后面跟着的内容将会在所有的配置文件里进行模糊匹配搜索,然后返回最有可能的内容。复制配置文件xtuner copy-cfg 命令用于复制一个内置的配置文件。该命令需要两个参数:CONFIG 代表需要复制的配置文件名称,SAVE_PATH 代表复制的目标路径。

2024-12-29 18:28:23 744

原创 浅谈多模态大模型幻觉缓解方法

最近这一两周不少公司都已经停止秋招了。不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。多模态大模型(Multimodal Large Language Models, MLLMs)在视觉问答、OCR等诸多多模态任务上取得了令人印象深刻的表现。然而,已有MLLMs仍然会生成和视觉内容不一致的回复,即幻觉现象(Hallucination)。

2024-12-17 22:40:33 942

原创 双击文件!就可以运行本地大模型了?

当你启动llamafile时,除了会在http://127.0.0.1:8080/上托管一个Web UI聊天服务器外,还会提供一个与OpenAI API兼容的聊天完成端点。llamafile是一个创新的项目,它使得大型语言模型(LLMs)的分发和运行变得前所未有的简单。通过结合llama.cpp和Cosmopolitan Libc,llamafile将LLMs的复杂性压缩到了一个单一的可执行文件中,这个文件被称为“llamafile”。你需要为你的电脑授予执行这个新文件的权限(只需做一次)。

2024-12-17 22:35:00 395

原创 算法|期望37-40K|地平线2轮面试(拿到offer)

回答:通用的话,用轻量级的 backbone 以及将 FPN 和 Head 中的卷积换成通道可分离卷积,并且可以 cls 和 reg 两个分支共享一个卷积,然后提了一下 CenterNet v2 用了单阶段的检测器提取高质量的 Proposal,所以可以将 proposal 的数量降低,这样的话运行速度也会加快,因为少了很多低质量的 proposal 送去回归和分类。4、数据集的大小是怎么样的?地平线的面试官是目前遇到的水平最高的,上来只问了我目标检测的项目,并且延伸得很广,对底层的考察也非常多。

2024-12-09 23:00:40 1052

原创 清华刘知远团队提出Densing Law,最大能力密度100天翻一倍

实验表明,大多数压缩模型的密度低于原始模型,模型压缩算法虽可以节省小参数模型构建开销,但是如果后训练不充分,小参数模型能力密度将会有显著下降。尺度定律之外,清华研究团队发现,大模型还有另一种度量与优化的空间,能力密度(Capability Density),它为评估不同规模 LLM 的训练质量提供了新的统一度量框架。它们分别在不同的维度,对大模型进行科学化的推演。大模型尺度定律是一种描述大模型随着规模的变化而发生的规律性变化的数学表达,表现为大模型的 Loss 与模型参数规模、训练数据规模之间的幂律关系。

2024-12-09 22:53:42 952

原创 抖音算法岗一面面试题7道|含解析

其基本思想是将模型权重分解为两个低秩矩阵的乘积,仅微调其中的一个低秩矩阵,而保持原有的大型模型权重不变。RAG 之所以有用,是因为它可以在生成模型的基础上加入额外的外部知识,提高了模型在知识密集型任务中的表现。它的优点是模型可以学习到不同位置之间的相对距离。旋转位置编码 (ROPE):这是一种旋转式编码,通过旋转矩阵给嵌入添加位置信息,主要用于提升模型在处理不同输入长度时的能力。Self-Attention 的优点在于能够处理长距离的依赖关系,并且可以并行计算,克服了 RNN 中的顺序依赖问题。

2024-11-24 11:57:28 825

原创 字节 NLP 算法岗一面面试题7道(含解析)

在结构上,与Transformer模型相比,LLaMA2的主要变化是将其中的层标准化(LayerNorm)替换为了均方根标准化(RMSNorm),多头注意力(Multi-Head Attention)换成了分组查询注意力(GQA,在LLaMA中则是多查询注意力MQA),并将位置编码(Positional Encoding)替换为了旋转嵌入(Rotary Position Embedding,RoPE)。QLoRA 使用的是 4-bit 量化,这种量化方式可以显著减少内存需求,同时保留模型的有效性。

2024-11-24 11:53:48 665

原创 大模型 RAG 面试真题大全

A. RAG 是一种提升自然语言处理性能的技术,它结合了检索和生成模型。该方法先通过检索大量文档来定位相关信息,随后生成模型利用这些信息来构造回答。这种双阶段流程既利用了检索的精确性,又发挥了生成模型的创造性,特别适用于依赖外部知识生成自然语言的任务。

2024-11-03 10:23:39 1145

原创 港大打造 LightRAG:让大模型 RAG 高效又便宜

最近这一两周不少互联网公司都已经开始秋招提前批面试了。不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。总结如下:《大模型面试宝典》(2024版) 发布!《AIGC 面试宝典》圈粉无数!喜欢本文记得收藏、关注、点赞RAG 在信息检索和大模型增强方面具有显著优势,吸引了广泛关注。然而,现有 RAG 系统面临检索效率低下、信息相关性不足以及对新数据适应能力

2024-11-03 10:11:17 975

原创 刚面完字节!问了大模型微调SFT,估计凉了

在大模型浪潮初期,我和我的前辈曾经有过一段对话:我:这工作(某个方向的 sft)交给我合适吗,我能胜任吗?前辈:这工作谁都能做。我:那你为啥选我来做?前辈:这不是因为我认识你,跟你熟悉嘛。我:……前辈:你做不做,不做有的是人想做,不行我招个实习生来做。我:我做我做,我当然做。

2024-10-26 22:24:55 712

原创 图解大模型分布式训练:数据并行

在DP中,每个GPU上都拷贝一份完整的模型,每个GPU上处理batch的一部分数据,所有GPU算出来的梯度传到master进行累加后,再传回各GPU用于更新参数DDP通过定义网络环拓扑的方式,将通讯压力均衡地分到每个GPU上,使得跨机器的数据并行(DDP)得以高效实现DP和DDP的总通讯量相同,但因负载不均的原因,DP需要耗费更多的时间搬运数据最后请大家记住Ring-AllReduce的方法,因为在之后的ZeRO、Megatron-LM中,它将频繁地出现,是分布式训练系统中重要的算子。

2024-10-26 22:18:29 722

原创 写给大模型新人的经验,刷到少走三年弯路

有搞大模型训练集群,GPU 集群,CPU/GPU 混部集群,池子里要管理几百上千张卡,还要负责他们的利用率,机器的健康状况,有没有挂的,中小公司这块基本都是开发和运维一体的,一个工作干两个工种的活。集数据 IO,模型训练,预测,上线,监控于一体,这种就是跟着业务团队走,做适配,造很多高效的轮子,方面业务团队使用,减少他们额外重复开发的时间。拿数据来说,先说通用的大模型训练,数据的来源,从哪里采,数据的质量怎么把控,如何过滤有毒信息,语言的筛选与比例,数据的去重,以及数据的规范化处理,评测集的构建。

2024-10-20 23:16:11 802

原创 一位详解 Transformer 模型三种注意力机制(含 Pytorch 代码实现)

自注意力机制自2017年在开创性论文《Attention Is All You Need》中被提出以来,已成为最先进深度学习模型的核心,尤其是在自然语言处理(NLP)领域。考虑到其广泛应用,深入理解自注意力的运作机制变得尤为重要。图1:原始Transformer架构在深度学习中,"注意力"概念的引入最初是为了改进递归神经网络(RNNs)处理长序列或句子的能力。例如,在机器翻译任务中,逐字翻译通常无法捕捉语言的复杂语法和表达方式,导致翻译质量低下。

2024-10-20 22:30:02 672

原创 使用 Langchain-chatchat 搭建 RAG 应用,并使用postman进行测试验证

LangChain-Chatchat (原 Langchain-ChatGLM),一种利用 langchain 思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

2024-10-20 22:14:43 1162

原创 算法岗 Transformer 最常考知识点汇总

最近这一两周不少互联网公司都已经开始秋招提前批面试了。不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。找算法岗相关岗位,Transformer 相关面试是不可回避的问题Transformer 面试题变化多样,我梳理一些面试中常考的关于 Transformer 的知识点,后续会陆续更新最新的面试题和讲解答案!

2024-10-04 16:21:55 995

原创 Llama为何要采用RoPE旋转位置编码?

(从最早提出,到 XLNET,以及 DeBerta,T5 等,可以看到相对位置编码的实现有一个简化的趋势,而效果也越来越好,正所谓大道至简,有时候有用的东西未必需要很复杂)总结来说,就是绝对位置编码好实现,效率高,适用线性注意力,而相对位置编码易外推,因此就有了对“绝对位置编码的方式实现相对位置编码”的追求,去把二者的优点结合起来。如果要处理更大长度的输入输出,使用绝对位置编码就需要把训练数据也加长到推理所需长度,否则对于没训练过的长度(训练时没见过的位置编码),效果多少会打些折扣。

2024-10-04 09:10:50 1140

原创 15种高级RAG技术:从预检索到生成全面提升RAG效果

随着检索增强生成(RAG)系统的快速发展,它为增强对话式 AI 和其他生成式 AI 应用提供了许多机会。本文的实验和研究突显了先进的 RAG 技术在以下方面的潜力:信息密度检索准确性用户响应质量如果正确实施,这些技术可以为企业带来更高的成本效益,并改善客户体验。但为了跟上快速涌现的最佳实践,软件工程师和数据科学家需要及时、可信赖的资源作为参考。

2024-10-04 09:06:19 1632

原创 这段时间搞大模型的血和泪

比如说我们经常出现:15天前训练到xxxx个step的那个模型效果是最好的,而且数据和模型版本管理基本混乱,只能靠时间戳+锁死评测关口,结果至上。和硬件的绑定是下一步关键:一方面,供给侧上如果有更强的ASIC来支撑,那训练和推理的成本会进一步降低,探索空间也会扩大;LLM输出侧的扩展是未来啊,除了输出语言、代码、思维步骤,还需要对接各类硬件设备的接口、SDK等等,这里的稳定性和工程加工兜底一定是短期内关键中的关键。最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。

2024-10-03 09:23:57 413

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除