自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(96)
  • 收藏
  • 关注

原创 2021年10月中旬—字节AI LAB NLP算法面试题(二)

问题6. 编辑距离 leetcode 72编辑距离 给你两个单词 word1 和 word2,请你计算出将 word1 转换成 word2 所使用的最少操作数 。你可以对一个单词进行如下三种操作:插入一个字符删除一个字符替换一个字符示例:那就是代码为输入:word1 = “horse”, word2 = “ros”输出:3horse -> rorse (将 ‘h’ 替换为 ‘r’)rorse -> rose (删除 ‘r’)rose -> ros (删除 ‘e’.

2021-11-22 18:44:50 517

原创 2021年10月中旬—字节AI LAB NLP算法面试题(一)

问题一:bert的架构是什么 目标是什么 输入包括了什么 三个embedding输入是怎么综合的?Bert的结构主要是Transformer的encoder部分,其中Bert_base有12层,输出维度为768,参数量为110M,Bert_large有24层,输出维度为1024,参数总量为340M。Bert的目标是利用大规模无标注语料训练,获得文本包含丰富语义信息的表征。Bert的输入:token embedding,segment embedding,position embeddimg,三个向量.

2021-11-20 19:15:28 608

原创 NLP 岗位精选笔试题分享

问题1:下面在 NLP 项目中哪些是文本预处理的重要步骤?1、词干提取(Stemming)2、移去停止词(Stop word removal)3、目标标准化(Object Standardization)答案:1、2 和 3解析:词干提取是剥离后缀(「ing」,「ly」,「es」,「s」等)的基于规则的过程。停止词是与语境不相关的词(is/am/are)。目标标准化也是一种文本预处理的优良方法。问题2:下面哪项技巧可用于关键词归一化(keyword normalization),即把关键词转.

2021-11-19 19:09:13 1596

原创 NLP高频面试题:参数更新、bert训练、扩充样本、layer&batch等

请介绍几种常用的参数更新方法。梯度下降:在一个方向上更新和调整模型的参数,来最小化损失函数。随机梯度下降(Stochastic gradient descent,SGD)对每个训练样本进行参数更新,每次执行都进行一次更新,且执行速度更快。为了避免SGD和标准梯度下降中存在的问题,一个改进方法为小批量梯度下降(Mini Batch Gradient Descent),因为对每个批次中的n个训练样本,这种方法只执行一次更新。使用小批量梯度下降的优点是:可以减少参数更新的波动,最终得到效果更好和更稳.

2021-11-16 18:13:44 525

原创 2021年11月初,VIVO & 地平线视觉工程师面经

问题1、简述下你对end to end检测器的理解?1、从faser-rcnn开始解释Blabla,原来通常用选择性搜索方法生成proposals不能和cnn一起训练,需要各自训练各自的部分。2、此外原来的rcnn阶段的分类的svm进行的,也不能和整个网络一起训练问题2、线性回归和逻辑回归的区别?1、线性回归做预测,逻辑回归做分类2、前者拟合合适的模型函数,后者预测函数的输出值3、参数更新:最小二乘法vs梯度下降4、因变量:连续性的数据,离散的label举例子:饮食习惯对体重的影响,如果是.

2021-11-15 18:52:01 308

原创 2021年10月25日-京东NLP工程师一面面试题分享

问题1:如何计算文本相似度?直接使用词向量做平均得到句向量,通过余弦相似度来计算直接使用词向量做平均得到句向量,通过向量距离来计算使用sentenceBert输出两个句子各自的句向量,通过余弦相似度来计算使用sentenceBert输出两个句子各自的句向量,拼接起来,通过全连接层,再做二分类使用simCSE输出两个句子各自的句向量,通过余弦相似度来计算。福利:七月在线干货组最新整理的《名企AI面经100篇》&《机器学习十大算法系列》PDF,文末免费领!问题2:Bert模型的输出一.

2021-11-11 15:14:29 189

原创 2021年9月中旬,百度NLP岗位面试题分享(二)

问题6:NLG的评估指标有哪些BLEU (Bilingual Evaluation Understudy)ROUGE (Recall Oriented Understudy for Gisting Evaluation)BLEU是机器翻译中使用最广泛的评估指标,可以看成是精确率,公式如下:ROUGE可以看作是召回率,有以下几种:ROUGE-N:计算 n-gram 的召回率,即算出候选译文和参考译文重合的 n-gram 个数占参考译文的比例;ROUGE-L:计算最长公共子序列(LCS)的.

2021-11-09 12:04:45 209

原创 2021年9月中旬,百度NLP岗位面试题分享(一)

问题1:神经网络有哪些初始化的方法、为什么要初始化不初始化可能会减慢收敛速度,影响收敛效果。如果使用的是预训练模型,是不需要自己进行初始化的,只有没有预训练模型的时候需要初始化。常用的权重初始化算法是「kaiming_normal」或者「xavier_normal」。以下n_in为网络的输入大小,n_out为网络的输出大小,n为n_in或(n_in + n_out) * 0.5- uniform均匀分布初始化:- Xavier初始法,适用于普通激活函数(tanh,sigmoid):- H.

2021-11-08 17:48:57 280

原创 2021年9月底--字节跳动NLP岗位(抖音)面试题分享

问题1:Bert模型中,根号dk的作用QK进行点击之后,值之间的方差会较大,也就是大小差距会较大;如果直接通过Softmax操作,会导致大的更大,小的更小;进行缩放,会使参数更平滑,训练效果更好。问题2:Bert模型中多头的作用多次attention综合的结果至少能够起到增强模型的作用,也可以类比CNN中同时使用多个卷积核的作用,直观上讲,多头的注意力有助于网络捕捉到更丰富的特征/信息。文末免费送电子书:七月在线干货组最新 升级的《2021最新大厂AI面试题》免费送问题3:BPE的了解B.

2021-11-05 18:51:59 186

原创 2021年9月底,百度NLP岗位精选面试题

问题1:先序遍历(要求递归和迭代两种方式)方法一:递归树本身就有递归的特性,因此递归方法最简单,这里直接放上代码,需要说明的是,中序遍历,前序遍历和后序遍历可采用相同的代码模板完成实现。时间复杂度:O(n),n 为树的节点个数空间复杂度:O(h),h 为树的高度文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!方法二:迭代时间复杂度:O(n),n 为树的节点个数空间复杂度:O(h),h 为树的高度问题2:旋转数组寻找k思路一:暴力解法直接遍历整个数组.

2021-11-04 14:53:58 247

原创 2021年10月11日,货拉拉NLP工程师面试题分享

问题1:词向量平均法做分类的优劣势是什么优势词向量平均的方法做分类模型,主要的优势是模型简单有参数模型,无参数模型都可以尝试使用,模型选择大模型速度极快,训练的参数量少在语句少的场景下,效果好劣势在语句长的长的场景下,效果会变的很差语句长,分出的词多,词越多,信息量越杂,简单的做平均的话,重要的词的信息会在平均的过程中极大的被消弱,从而分类效果差评论区回复“十大算法”,免费领取《机器学习十大算法系列》PDF,内容 10 大常用机器学习算法,包括线性回归、Logistic 回归、线性判别.

2021-11-01 19:12:50 222

原创 2021年10月11日,叮咚买菜机器学习工程师面试题分享

问题1:解释一下什么是boosting模型,以及boosting模型有哪几种常见的boosting模型有adaboost, gbdt, xgboostboosting算法是由多个树模型通过叠加的方式来学习特征和标签之间的规律虽然有很多的boosting算法,其核心思想是使用新的模型去拟合之前所有叠加起来的模型所没有捕捉到的规律,从而一点点的学习特征和标签的规律评论区回复“十大算法”,免费领取《机器学习十大算法系列》PDF,内容 10 大常用机器学习算法,包括线性回归、Logistic 回归、线性.

2021-10-28 19:07:22 338

原创 2021年9月快手社科广告算法面经分享!

问题1、l1,l2公式,区别L1/L2的区别L1是模型各个参数的绝对值之和。L2是模型各个参数的平方和的开方值。L1会趋向于产生少量的特征,而其他的特征都是0。因为最优的参数值很大概率出现在坐标轴上,这样就会导致某一维的权重为0 ,产生稀疏权重矩阵L2会选择更多的特征,这些特征都会接近于0。最优的参数值很小概率出现在坐标轴上,因此每一维的参数都不会是0。当最小化||w||时,就会使每一项趋近于0。L1的作用是为了矩阵稀疏化。假设的是模型的参数取值满足拉普拉斯分布。L2的作用是为了使模型更.

2021-10-27 19:01:01 13079

原创 2021年9月字节跳动商业广告,算法岗面试题分享!

问题1、SVM相关,怎么理解SVM,对偶问题怎么来的,核函数是怎么回事。SVM是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机。SVM为什么要将原始问题转换为对偶问题来求解,原因如下:对偶问题将原始问题中的约束转为了对偶问题中的等式约束;方便核函数的引入;改变了问题的复杂度。由求特征向量w转化为求比例系数a,在原始问题下,求解的复杂度与样本的维度有关,即w的维度。在对偶问题下,只与样本数量有关。核函数的使用实际上是增加维度,把原本在低维度里的.

2021-10-26 19:01:32 414

原创 2021年9月,科大讯飞CV岗位面试题分享!

问题1:常见的attention机制,说明channel attention 和 self attention 的原理self-attention、channel attention、spatial attention、multi-head attention、transformer自注意力机制是注意力机制的变体,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性。文末免费送电子书:七月在线干货组最新 升级的《2021最新大厂AI面试题》免费送!问题2:triplet loss的训练要.

2021-10-20 12:07:37 400

原创 2021年9月初科大讯飞AI&京东CV算法岗面试题!

问题1:你对fast rcnn了解多少两阶段目标检测算法Fast RCNN,是RCNN算法的升级版,之所以提出Fast R-CNN,主要是因为R-CNN存在以下几个问题:1、训练分多步。我们知道R-CNN的训练先要fine tuning一个预训练的网络,然后针对每个类别都训练一个SVM分类器,最后还要用regressors对bounding-box进行回归,另外region proposal也要单独用selective search的方式获得,步骤比较繁琐。2、时间和内存消耗比较大。在训练SVM和.

2021-10-14 16:40:26 717

原创 2021年9月初,中兴AI算法岗5道面试题分享

问题1:给定图像大小w,卷积核k,步长s,padding,求计算量字符含义:i:输入的宽度k:卷积核的宽度p:单边填充宽度o:输出宽度s:步长卷积的数据关系:o=(i+2p-k)/s+1文末免费送电子书:七月在线干货组最新 升级的《2021最新大厂AI面试题》免费送问题2:问项目中卷积核大小,是不是越大越好,1*1的卷积核的作用1:考虑到计算量,不是越大越好。2:1*1卷积可以修改通道数问题3:讲讲你所知道的超参数批量大小、损失权重比、卷积核个数、学习率、 子模块的个数.

2021-10-12 17:18:31 494

原创 CV精选知识点:什么是NMS(Non-maximum suppression 非极大值抑制)

文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!解析1:NMS是一种Post-Procession(后处理)方式,跟算法无关的方式。NMS应用在所有物体检测的方法里。NMS物体检测的指标里,不允许出现多个重复的检测。NMS把所有检测结果按照分值(conf. score)从高到底排序,保留最高分数的 box,删除其余值。节前给推荐一门硬核数据分析课,由七月& 深度 联合出品的【数据分析业务实战年度VIP】课程课程老师均由在一线实战5年的数据分析是和科学

2021-09-29 09:40:44 1156

原创 2021年8月,字节秋招算法5道面试题分享!

## 问题1:搜索旋转排序数组带重复值问题该题为leetcode第81题,搜索先转排序数组II对于数组中有重复元素的情况,二分查找时可能会有 a[l]=a[mid]=a[r],此时无法判断区间 [l,mid] 和区间 [mid+1,r] 哪个是有序的。例如nums=[3,1,2,3,3,3,3],target=2,首次二分时无法判断区间 [0,3][0,3] 和区间 [4,6][4,6] 哪个是有序的。对于这种情况,只能将当前二分区间的左边界加一,右边界减一,然后在新区间上继续二分查找。文末.

2021-09-27 19:05:25 197

原创 2021年B站-主站技术中心-算法开发岗面试题5道

问题1:介绍word2vec,负采样的细节word2vec是google于2013年开源推出的一个词向量表示的工具包,其具体是通过学习文本来用词向量的方式表征词的语义信息,即通过一个低维嵌入空间使得语义上相似的单词在该空间内的距离很近。有两种模型:CBOW和skip-Gram,其中CBOW模型的输入是某一个特征词的上下文固定窗口的词对应的词向量,而输出就是该特定词的词向量;Skip-Gram模型的输入是特定的一个词的词向量,输出就是特定词对应的上下文固定窗口的词向量。现在我们看下Word2vec如何通过

2021-09-24 19:18:38 334

原创 CV精选知识点:DPM(Deformable Parts Model)算法流程详解

解析1:将原图与已经准备好的每个类别的“模板”做卷积操作,生成一中类似热力图(hot map)的图像,将不同尺度上的图合成一张,图中较量点就是与最相关“模板”相似的点。拓展:SGD(stochastic gradient descent)到training里NMS(non-maximum suppression)对后期testing的处理非常重要Data mining hard examples这些概念至今仍在使用解析2:DPM算法由Felzenszwalb于2008年提出,是一种基.

2021-09-23 15:37:35 823

原创 2021年8月,Shopee-算法工程师5道面试题分享

问题1:逻辑回归和SVM的异同LR与SVM的相同点:都是有监督的分类算法;如果不考虑核函数,LR和SVM都是线性分类算法。它们的分类决策面都是线性的。LR和SVM都是判别式模型。LR与SVM的不同点:本质上是loss函数不同,或者说分类的原理不同。SVM是结构风险最小化,LR则是经验风险最小化。SVM只考虑分界面附近的少数点,而LR则考虑所有点。在解决非线性问题时,SVM可采用核函数的机制,而LR通常不采用核函数的方法。SVM计算复杂,但效果比LR好,适合小数据集;LR计算简单,

2021-09-18 16:40:01 545

原创 CV精选题库:如何理解YOLO - YOLO详解

从五个方面解读CVPR2016 目标检测论文YOLO: Unified, Real-Time Object Detection1、创新;2、核心思想;3、效果;4、改进;5、实践文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!1、创新YOLO将物体检测作为回归问题求解。基于一个单独的end-to-end网络,完成从原始图像的输入到物体位置和类别的输出。从网络设计上,YOLO与rcnn、fast rcnn及faster rcnn的区别如下:[1] YOLO训练和检测均

2021-09-17 16:12:09 325

原创 2021年7月底,“陌陌”推荐算法5道面试题分享!

问题1:Graph SAGE的原理GraphSAGE是Graph SAmple and aggreGatE的缩写,其运行流程如上图所示,可以分为三个步骤:对图中每个顶点邻居顶点进行采样根据聚合函数聚合邻居顶点蕴含的信息得到图中各顶点的向量表示供下游任务使用文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!问题2:deepwalk的原理DeepWalk的思想类似word2vec,使用图中节点与节点的共现关系来学习节点的向量表示。那么关键的问题就是如何来描述节点

2021-09-15 16:52:27 358

原创 金融风控大厂10道精选面试题分享!

问题1:深度学习的风控模型,从经验上看,样本量大概要多少条啊解析:不同的模型不一样,而且也不光要注意样本量,比如RNN其实希望序列长度至少在12个月以上,粗略的说,样本量五十万以上效果比较好。问题2:5万正样本,200负样本,B卡,不只是提高额度,会拒绝一部分客户,怎么建模?5万负样本是没有做下采样的必要的,200正样本无论用什么方法做过采样说实话由于自身携带的信息量比较少,学习的应该也不是完全的。所以这时候建议先略作改动,评价函数加一项,负样本的召回率,也就是说这时候不是主要关注KS,而是对负样本

2021-09-13 18:40:25 1444

原创 有什么好的模型调参的方法么?网格搜索?贝叶斯优化?

七月在线金融就业班上有讲过,offks + (offks - devks) * 0.8 最大化。这个0.8自己来调整,看你是希望跨时间验证集上的KS更高,还是希望模型更稳定。然后模型内部的参数搜索建议贝叶斯优化,推荐原因是因为快一点。精度其实差别不大。然后精细化调参,一般都是千分位上的提升。文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!解析2简介本文受 浅析 Hinton 最近提出的 Capsule 计划 启发,希望以更通俗的方式推广机器学习算法,让有数学基础

2021-09-09 18:39:28 378

原创 由于幸存者偏差,导致强变量在后续迭代中逐渐削弱甚至相反怎么办|文末有福利

解析:幸存者偏差(SurvivorshipBias)与样本不均衡(Imbalance Learning)问题都是由于风控模型的拒绝属性导致的。但表现形式略有不同。幸存者偏差是指,每次模型迭代时,使用的样本都是被前一个模型筛选过的,从而导致的样本空间不完备。其实主要是添加负样本的问题。简单一些可以直接用增量学习,效果更好的是迁移学习和半监督学习。比如用GAN网络产生新样本,对齐现有样本和旧的历史样本的分布,然后进行建模。文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!解

2021-09-07 18:16:03 717

原创 2021年七月中旬,虾皮北京提前批-算法工程师5道面试题

文末免费送电子书:七月在线干货组最新 升级的《2021最新大厂AI面试题》免费送!问题1:删除链表倒数第K个节点该题为leetcode第19题。在对链表进行操作时,一个常用的技巧就是添加一个哑结点(dummy node),它的next忠贞纸箱链表的头结点,这样就不需要对头结点进行特殊判断了。思路一:计算链表长度先对链表进行一次遍历,得到链表的长度L,随后再从头节点开始对链表进行一次遍历,当遍历到第L-n+1个节点时,就是需要删除的节点。当我们在头结点前面加上dummy节点后,删除的节点就变

2021-09-03 19:19:06 374

原创 AI开源项目精选:GPT2.0、激活可视化、全面基本面分析包

文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!项目一:EssayKiller_V2 基于开源GPT2.0的初代创作型人工智能EssayKiller是基于OCR、NLP领域的最新模型所构建的生成式文本创作AI框架,目前第一版finetune模型针对高考作文(主要是议论文),可以有效生成符合人类认知的文章,多数文章经过测试可以达到正常高中生及格作文水平。框架说明:基于EAST、CRNN、Bert和GPT-2语言模型的高考作文生成AI支持bert tokenizer,当前

2021-09-02 16:03:24 678

原创 AI精选开源项目:处理fMRI数据、检测卫星图像、GPT2生成模型

文末免费送电子书:七月在线干货组最新 升级的《2021最新大厂AI面试题》免费送!项目一:fmriprep 用于预处理各种 fMRI 数据的易用pipelinefMRIPrep 是一种功能性磁共振成像 (fMRI) 数据预处理管道,旨在提供易于访问的、最先进的接口,该接口可对扫描采集协议的变化非常可靠,并且需要最少的用户输入,同时提供易于解释和全面的误差和输出报告。它执行基本处理步骤(核心、规范化、解曲线、噪声成分提取、分割、头骨跳闸等),提供可轻松提交到各种组级分析的输出,包括基于任务或静止状态的

2021-08-31 17:42:08 417

原创 2021年7月中旬,腾讯PGB,NLP算法面试题 6道!

文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!问题1:SVM 的 优化函数公式怎么写,代价函数是什么?线性可分支持向量机的最优化问题函数公式:引入拉格朗日乘子,由拉格朗日对偶性可得代价函数如下:问题2:随机森林是怎么回事,为什么树模型好用,为什么要发明随机森林?随机森林是一种重要的基于Bagging,进一步在决策树的训练过程中引入随机属性选择的集成学习方法,可以用来做分类、回归等问题。随机森林的构建过程大致如下:从原始训练集中使用Bootstraping

2021-08-30 18:30:46 156

原创 AI开源项目分享:pytorch增强图像数据、Tensorflow 2.0实现...

文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!项目一:igel — 无需编写代码即可训练,测试和使用模型一个令人愉悦的机器学习工具,可让您无需编写代码即可训练/拟合,测试和使用模型。该项目的目标是为技术用户和非技术用户提供机器学习。有时我需要一个工具,可以用来快速创建机器学习原型。是构建概念验证还是创建快速草图模型来证明这一点。我发现自己经常被困在编写样板代码和/或想太多如何启动它。因此,我决定创建igel。希望它将使技术和非技术用户更轻松地构建机器学习模型。ige

2021-08-27 16:55:41 466

原创 AI精选开源项目:构建向量应用程序、YOLO存储库、多语言语料库

文末免费送电子书:七月在线干货组最新 升级的《2021最新大厂AI面试题》免费送!项目一: vectorai 一个用于构建基于向量的应用程序的平Vector AI是一个框架,旨在使构建基于生产级矢量的应用程序的过程尽可能快速,轻松地进行。与json文档一起创建,存储,操纵,搜索和分析向量,以增强神经搜索,语义搜索,个性化推荐建议等应用程序。主要特点:多媒体数据向量化:Image2Vec,Audio2Vec等(任何数据都可以通过机器学习转换为矢量)面向文档的存储:将向量与文档一起存储,而无需对

2021-08-26 18:25:38 464

原创 AI 开源项目分享:动作识别框架Sense、多目标跟踪神器...

项目一:Smart_Construction — 基于目标检测工地安全帽和禁入危险区域识别系统该项目是使用 YOLOv5 v2.x 的程序来训练在智能工地安全领域中头盔目标检测的应用数据集:使用的数据集:Safety-Helmet-Wearing-Dataset环境准备:指标:模型下载:https://pan.baidu.com/share/init?surl=mSIjDAzfiJd1fqSxIYzRDA密码:44qm项目地址:https://github.com/PeterH03

2021-08-19 18:34:38 1379

原创 AI开源项目分享:时间序列预测模型、图像监督的python库...

项目一:modeltime — 时间序列预测模型和机器学习框架时间序列在变化。企业现在每天需要10,000多个时间序列预测。这就是我所说的高性能时间序列预测系统(HPTSF)-准确,稳健和可扩展的预测。高性能预测系统将为公司节省数百万美元。特点与优势:Modeltime在一个框架中解锁时间序列模型和机器学习。无需在各种框架之间来回切换。modeltime解锁了机器学习和经典时间序列分析。预测:使用ARIMA,ETS和更多模型先知:使用Facebook的先知算法其他五花八门的模型简化的预测工作

2021-08-18 18:54:50 456

原创 AI开源项目精选 | 基于pytroch的ORC算法库及python高性能CPU分析等

文末免费送电子书:七月在线干货组最新 升级的《名企AI面试100题》免费送!本书涵盖计算机语⾔基础、算法和⼤数据、机器学习、深度学习、应⽤⽅向 (CV、NLP、推荐 、⾦融风控)等五⼤章节。项目一:pytorchOCR — 基于pytorch的ocr算法库已完成模型:DBnetPSEnetPANnetSASTnetCRNN检测模型效果:训练只在ICDAR2015文本检测公开数据集上模型压缩剪枝效果:这里使用mobilev3作为backbone,在icdar2015上测试结果

2021-08-17 18:49:23 682

原创 7.20-7.26 字节推荐算法(DATA-EDU)5道面试题分享

文末彩蛋:七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送!1、bert蒸馏了解吗知识蒸馏的本质是让超大线下teacher model来协助线上student model的training。bert的知识蒸馏,大致分成两种。第一种,从transformer到非transformer框架的知识蒸馏这种由于中间层参数的不可比性,导致从teacher model可学习的知识比较受限。但比较自由,可以把知识蒸馏到一个非常小的model,但效果肯定会差一些。

2021-08-14 18:55:26 263

原创 本周AI开源项目:最佳机器学习模板、Yolov5+CV提高聋人访问性

文末彩蛋:七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送!项目一:Interactive_ABCs_with_American_Sign_Language_using_Yolov5 —使用Yolov5通过计算机视觉提高聋人社区的可访问性利用Yolov5,在美国手语字母上创建了一个自定义计算机视觉模型。该项目在社交平台上得到推广,以使数据集多样化。使用DropBox请求表在两周内总共收集了721张图像。为原始图像创建了手动标签,然后将其调整大小并进行预处

2021-08-13 18:25:50 362

原创 基于PaddlePaddle的出色多语言OCR工具包、钢琴MIDI数据集

文末彩蛋:七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送!项目一:GiantMIDI-Piano — 钢琴MIDI数据集钢琴转谱是一项将钢琴录音转为音乐符号(如 MIDI 格式)的任务。在人工智能领域,钢琴转谱被类比于音乐领域的语音识别任务。然而长期以来,在计算机音乐领域一直缺少一个大规模的钢琴 MIDI 数据集。近期,字节跳动发布了全球最大的古典钢琴数据集 GiantMIDI-Piano [1]。在数据规模上,数据集不同曲目的总时长是谷歌 MAES

2021-08-12 19:03:02 581

原创 2021年7月初,深圳TPlink图像算法工程师面试题分享

问题一:Batch-norm作用和参数batch norm的作用batch norm对于输入数据做了零均值化和方差归一化过程,方便了下一层网络的训练过程,从而加速了网络的学习。不同batch的数据,由于加入了batchnorm,中间层的表现会更加稳定,输出值不会偏移太多。各层之间受之前层的影响降低,各层之间比较独立,有助于加速网络的学习。梯度爆炸和梯度消失现象也得到了一些缓解(我自己加上去的)。batch norm利用的是mini-batch上的均值和方差来做的缩放,但是不同的mini-batch

2021-08-11 14:56:30 598

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除