2021年9月底--字节跳动NLP岗位（抖音）面试题分享

最新推荐文章于 2024-03-27 05:07:14 发布

niuyunpang

最新推荐文章于 2024-03-27 05:07:14 发布

阅读量190

点赞数

文章标签：自然语言处理人工智能机器学习

本文链接：https://blog.csdn.net/niuyunpang/article/details/121168611

版权

问题1：Bert模型中，根号dk的作用

QK进行点击之后，值之间的方差会较大，也就是大小差距会较大；如果直接通过Softmax操作，会导致大的更大，小的更小；进行缩放，会使参数更平滑，训练效果更好。

问题2：Bert模型中多头的作用

多次attention综合的结果至少能够起到增强模型的作用，也可以类比CNN中同时使用多个卷积核的作用，直观上讲，多头的注意力有助于网络捕捉到更丰富的特征/信息。

文末免费送电子书：七月在线干货组最新升级的《2021最新大厂AI面试题》免费送

问题3：BPE的了解

BPE与Wordpiece都是首先初始化一个小词表，再根据一定准则将不同的子词合并。词表由小变大

BPE与Wordpiece的最大区别在于，如何选择两个子词进行合并：BPE选择频数最高的相邻子词合并，而WordPiece选择能够提升语言模型概率最大的相邻子词加入词表。

问题4：mask策略和改进

从bert最开始的mask token 到后面ernie的 mask entity以及还有mask n-gram，动态mask等等。

问题5：Bert模型中激活函数GELU

GELU函数是RELU函数的变种，形式如下：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

niuyunpang

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

经典动态规划：二维

一只程序小洋的博客

07-23

374

题目：给定一个包含非负整数的mxn网格grid，请找出一条从左上角到右下角的路径，使得路径上的数字总和为最小。说明：每次只能向下或者向右移动一步。题解：动态规划：由于路径的方向只能是向下或向右，因此网格的第一行的每个元素只能从左上角元素开始向右移动到达，网格的第一列的每个元素只能从左上角元素开始向下移动到达，此时的路径是唯一的，因此每个元素对应的最小路径和即为对应的路径上的数字总和。对于不在第一行和第一列的元素，可以从其上方相邻元素向下移动一步到达，或者从其左方相邻元素向右...

跨专业转码投递40+单位，终于上岸大厂，聊聊腾讯与字节跳动

2301_78234743的博客

07-11

297

今天又一位OD同学入职啦，这位同学是同事在某直聘上遇到的，他跟我说之前的工作比较混日子，他本来就想这么混下去，后来是我给了他动力，让他感觉自己不能一直混下去。#正在实习的碎碎念# 刚来实习，组里氛围一般，都不咋说话，目前只和带我的熟一点点，直接给我分了一个没啥人做方向，之前完全不了解，这几天了解了一下感觉很宏大，很空。本科经济，硕士双非应统（经济大类底下的，不是数学大类底下那个），自学了sqlpython.r、机器学习这些，小论文也是计量经济方面的，跟机器学习深度学习不相关，拿了几个offer，不太满意。

参与评论您还未登录，请先登录后发表或查看评论

LeetCode-数组

qq_44376432的博客

01-04

330

1.题号628. 三个数的最大乘积最大三数之积为，三个最大值相乘，或最小两个负数与最大正数相乘的最大值可以只遍历一次，记录下这五个数，达到O(N)时间复杂度 int maximumProduct(vector<int>& nums) { int max1=INT_MIN,max2=INT_MIN,max3=INT_MIN; int min1=INT_MAX,min2=INT_MAX,n=nums.size(); for(int i=0;

leetcode系列-数组

dafeng_xiaobai的博客

05-31

439

数组理论基础数组是存放在连续内存空间上的相同类型数据的集合。数组可以方便的通过下标索引的方式获取到下标下对应的数据。举一个字符数组的例子，如图所示：需要两点注意的是数组下标都是从0开始的。数组内存空间的地址是连续的正是因为数组的在内存空间的地址是连续的，所以我们在删除或者增添元素的时候，就难免要移动其他元素的地址。例如删除下标为3的元素，需要对下标为3的元素后面的所有元素都要做移动操作，如图所示：而且大家如果使用C++的话，要注意vector 和..

Leetcode 64 最小路径和 (每日一题 20210721)

BUPT-WT的博客

07-21

514

给定一个包含非负整数的 mxn网格grid ，请找出一条从左上角到右下角的路径，使得路径上的数字总和为最小。说明：每次只能向下或者向右移动一步。示例 1：输入：grid = [[1,3,1],[1,5,1],[4,2,1]] 输出：7 解释：因为路径 1→3→1→1→1 的总和最小。示例 2：输入：grid = [[1,2,3],[4,5,6]] 输出：12 提示： m == grid.length n == grid[i].length 1 <= m, n...

二维动态规划

weixin_34235371的博客

12-17

283

给定N个点，任意两个点之间都联通，找出两条路径（涵盖所有点），使他们的和最小首先把点从左往右编号0-n-1 那么原题相当于找两条从左往右的不想交的路线 dp[i]表示两条路走到了i和i-1最少的花费是多少答案是dp[n-1]+cost[n-2][n-1] dp[1]=cost[0][1] dp[i]=min(dp[i-1]+cost[i-2]...

题解 | #2021年11月每天新用户的次日留存率#

2301_78234743的博客

10-19

349

但是，最后他们给我反馈。本人java开发，跨专业，到现在也就是只有2-3个offer，一个大厂岗位不好（base：北京），按去年的薪资计算应该是32W左右，上海的中科院微小卫星研究院总。其实也就是18所，做电源系统这一块的，线上腾讯会议，对方没开摄像头本来说是10：30，但我等了将近一个小时首先自我介绍和主要的项目经历围绕着项目提问了几个问题，一面面试的人太多啦，在等候的时候看到共有21人在排队，而且每个人只有十五分钟时间~3v1面，面试官很好，问到的都是非技术问题，但感觉面试的人好多，不知道什么时候。

2024.3.26 腾讯魔方工作室—golang后台开发面经

最新发布

2301_79125642的博客

03-27

1069

bg2本9硕，现在有一篇c在投，老师可以帮忙推荐华为的大模型相关实习，科研导向，有发文章机会，大家觉。软件开发岗（嵌入式的）简历太差，没有相关经历，面试官就问两个问题，一个osi的七层模型，一个sock。25届双非硕，找Java方向暑期实习，简历被轮番挂，美团一直简历筛选中泡池子，室友都OC了麻烦路过的。#快手#上周五下午面了快手一面，先问了问项目，聊的一般，方向是对口的，但面试官也不是很感兴趣，估计觉。目前二本大四计科技术都不会之前考研去了但是估计是没戏了，现在没技术找工作也找不到，不懂就问，我现在是。

【操作系统选择题·五】进程同步 &amp；死锁 -中-做题

2301_79125642的博客

08-21

1、使用队列分别保存数字和运算符2、遇到负数，则数字队列连续入队0和值运算符队列入队-号3、运算规则是，运算符队列出一个运算符，数字队列出两个数字，同时将得到的。跳房子的过程中，如果有踩线等违规行为会结束当前回合，甚至可能倒退几步.假设房子的总格数是count.小红每回合可能连续跳的步数都放在数组steps中，请问数组中。为了不重复出题，她想出一。首先自我介绍，然后面试官会根据你的简历问八股，简历里有关的都会问，最后会让写一道简单的算法题.还会问对汽车mcu的了解和autosar有没有了解，可是我不了解.

【算法】LeetCode：数组篇

知识输出、记录学习

10-14

807

代码随想录推荐：快速入门的刷题顺序（Java版）

leetcode-数组总结

许诗宇的博客

07-24

3963

题26： 1. 考虑到leetcode测试用例，数组为空和长度为1的情况。 2. java队列最后一个的索引为长度-1，不能用arr[length]。

leetcode 数组

肥肥很菜

02-19

288

11. Container With Most Water 在数组的头尾均设置一个指针，设置max变量记录当前的最大容量；计算完一次后移动一个指针，木桶原理是容积取决于行长度和最短高度的积，因此每次移动短的指针，因为如果移动长的指针那么容量可能变小。直到两个指针相遇。 int maxArea(vector&amp;amp;amp;amp;amp;lt;int&amp;amp;amp;amp;amp;gt;&amp;amp;amp;amp;amp;amp

leetcode总结——数组篇

weixin_45680007的博客

02-17

710

快慢指针：环形数组，最多出现两次的数组 pat型：除开自己的以外的乘积 Map：两数和/三数和/四数和，播放磁带，01数组滑动窗口：最长不重复子串,t步内差小于k 首尾指针：水桶容量贪心算法：合并区间，跳跃数组，矩阵面积计算机数字转化环形数组：给定一个含有正整数和负整数的环形数组 nums。如果某个索引中的数 k 为正数，则向前移动 k 个索引。相反，如果是负数 (-k)，则向后移动 ...

动态规划二：二维动态规划(18308+11077+19187+17089)

sigd的博客

10-23

1897

二维动态规划简要介绍

LeetCode数组

weixin_43472705的博客

07-29

200

66 加一问题思路: 加1之后变为两位数，则进行求余，将余数放进数组最后一位，然后两位数进行进位，当数组元素全是9时才出现进位扩容情况。判断是否需要扩容，需要则新数组第一位为1 其余元素为0。 package arrayTest; public class AddOne66 { public static void main(String[] args) { } public i...

leetcode数组

qq_43489474的博客

06-21

256

LeetCode与数组前两周时间，我在leetcode上刷了二三十道数组题目，今天准备趁热打铁，来写一点关于数组方面的小结。 1：数组数组是一种数据结构，用来存放同一类型值的集合，通过整型下标可以访问数组中的每一个值 1.1：声明与初始化 // 声明 int[] a;//常用 int a[]; //初始化 int[] nums = new int[100];//创建一个可以存储100个整数的数组 1.2：常用语句在刷题的过程中，只要牵扯到数组；肯定要用到以下的语句循环for(int

【回溯】B009_LC_矩阵中的路径（板子题）

无敌兔0x01

02-05

273

一、题目描述 Given a 2D board and a word, find if the word exists in the grid. The word can be constructed from letters of sequentially adjacent cell, where "adjacent" cells are those horizontally or vert...

字节跳动青训营抖音项目代码解析

作为一家以技术驱动的公司，字节跳动在机器学习、自然语言处理、大数据分析等领域有着深厚的积累。其教育项目，如青训营，是公司技术传承和人才储备的重要途径。综上所述，该资源文件涵盖了字节跳动青训营的教育...