![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言
文章平均质量分 93
机器学习社区
这个作者很懒,什么都没留下…
展开
-
图解 Bert
用最简单的话语概括 BERT 的重要思想1.BERT 模型架构利用 Transformer 编码器堆栈结构,是一种能进行文本双向嵌入的语言模型。2.BERT的 tokenization 采用的是 WordPiece 的方式,Embedding 是 Token Embeddings、Segment Embeddings、Position Embeddings 三者的叠加。3.BERT 使用“预训练+微调”的方式用于分类、问答、NER 等 NLP 下游任务;原创 2024-05-30 21:16:18 · 1357 阅读 · 0 评论 -
图解 transformer——注意力计算原理
Query 和 Key 之间的点积计算出每对词之间的相关性。然后,这种相关性被用作一个 "因子 "来计算所有 Value 向量的加权和。该加权和的输出为注意力分数。Transformer 通过对嵌入向量的学习,使彼此相关的词更加一致。这就是引入三个线性层的原因之一:为 Attention module 提供更多的参数,使其能够通过学习调整词向量。原创 2024-05-30 15:02:12 · 1065 阅读 · 0 评论 -
图解 Transformer——功能概览
作为系列文章的第一篇,本文介绍了 Transformer 的整体架构,以及训练、推理的过程。下一篇文章将深入到 Transformer 的各层,从数据流转的过程,介绍 Transformer 各层的原理及作用。原创 2024-05-30 14:54:41 · 697 阅读 · 0 评论 -
图解 transformer——逐层介绍
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。词嵌入层位置编码层多头注意层前馈层两个多头注意层前馈层线性层Softmax层。为了深入理解每个组件的作用,在翻译任务中 step-by-step 地训练 Transformer。原创 2024-05-30 14:51:59 · 1362 阅读 · 0 评论 -
Transformer 动画讲解:数据处理的四大关键步骤
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。Transformer 大模型,一种基于自注意力机制的神经网络架构,已被广泛应用于各种自然语言处理任务,比如:机器翻译、文本摘要、生成问答等。从端到端的角度来看,Transformer 大模型中数据的处理流程主要包括四个阶段:首先是(Embedding),随后是。原创 2024-05-30 14:31:01 · 1283 阅读 · 0 评论 -
面了滴滴 NLP 算法工程师(实习),最终还是挂了。。。
节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天分享一位球友面试滴滴NLP算法岗的面经。先说结论:滴滴两次技术面,没有hr面试机会了。第一次技术面问了transformer和bert的基础知识。先是问了知道transformer的架构如何设计的么?让我介绍下transformer的block的结构。原创 2024-05-01 15:29:03 · 1127 阅读 · 0 评论 -
推荐收藏!腾讯算法岗面试题9道(含答案)
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂同学、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天我整理一下算法岗方向面试题,分享给大家,希望对后续找工作的有所帮助。Transformer是一种深度学习模型架构,特别适用于序列到序列的任务,如机器翻译。原创 2024-03-02 22:31:34 · 1654 阅读 · 0 评论 -
新鲜出炉的 NLP 算法岗社招面试经验分享
最近终于做好了选择,决定从杭州“搬迁”到了上海,一切安顿好之后,终于有功夫可以好好整理一下近期面试遇到的一些问题以及自己的一些小经验啦,希望对同样有跳槽需求的同行小伙伴们有些小小的帮助。【注】文末提供面试技术交流群首先,简单做一下自己的背景介绍啦~背景介绍本人 NLP 算法程序媛一枚,18 年 6 月有幸在达摩院的翻译平台实习并转正,19年 1 月硕士毕业后,于同年 2 月加入该团队,主要从事术语挖掘与文本质量相关的工作。这次参加了腾讯、字节、美团、b 站、虾皮、小红书、知乎、华为、微博、携程、网原创 2022-01-31 19:26:44 · 2217 阅读 · 0 评论 -
面了NLP算法岗(大模型方向),被问懵了。。。。。
最近技术群的一位同学,给我分享了他面试 NLP 算法工程师(大模型方向)的经历与经验。直呼最近找工作太难了。。。。今天我整理后分享给大家,希望对后续找工作的有所帮助。这位同学为面试刷了 leetcode200-300 题左右,侧重刷中高频hard题,同时也准备了大量的面试问题。面的公司地点均在上海,总共5家。原创 2024-01-31 23:54:22 · 1756 阅读 · 0 评论 -
面向 NLP 任务的大模型 Prompt 设计
本文主要介绍了PromptSource英文常用评测任务prompt生成工具包以及现有NLP的一些prompt,这些对我们进行信息抽取等任务有很大的帮助。对于具体的使用,大家可以参考参考文献链接进行进一步查看,并实践。原创 2023-12-20 22:37:31 · 1813 阅读 · 0 评论 -
50个斯坦福NLP视频教程全部放出,干货满满!
Christopher Potts 是斯坦福语言学教授,同时也是计算机科学教授和语言与信息研究中心(CSLI)主任。在研究中,他致力于使用计算方法探索情感如何在语言中表达,以及语言的产生和解释如何受到语篇、语境的影响。他于 2005 年出版了《The Logic of Conventional Implicatures》一书,并发表了大量计算语言学和理论语言学方面的学术论文。课程视频下面的评论中,网友们表达了对课程的喜爱。原创 2023-10-10 00:16:28 · 120 阅读 · 0 评论 -
Prompt:Fine-tune之后的新范式
全监督学习,即仅在目标任务的输入输出样本数据集上训练特定任务模型,长期以来在许多机器学习任务中发挥着核心作用,同样的,全监督学习在 NLP 领域也非常重要。但是全监督的数据集对于学习高质量的模型来说是不充足的,早期的 NLP 模型严重依赖特征工程。随着用于 NLP 任务的神经网络出现,使得特征学习与模型训练相结合,研究者将研究重点转向了架构工程,即通过设计一个网络架构能够学习数据特征。目前已开通了技术交流群,群友已超过,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。原创 2022-09-25 23:43:49 · 291 阅读 · 0 评论