知识点理解
文章平均质量分 94
捡起一束光
某985本硕,热爱分享推荐系统、自然语言处理等优质内容的算法工程师
展开
-
2023届算法岗面经题:训练深度学习模型时loss除以10和学习率除以10真的等价吗
软件:唧唧Down官网:http://client.jijidown.com/下载完成后,运行软件只要把你想下载的b站视频网址复制到该软件就可以下载视频清晰度可选1080p,还可以设置是否下载弹幕用这款软件再配合potplayer,可以尽情享用b站任何视频...原创 2019-10-12 10:09:14 · 114048 阅读 · 5 评论 -
C++高频面试题:虚函数和纯虚函数(C++的三大特性:封装、继承、多态)
C++高频题学习资料一、虚函数虚函数原理(手写笔记)虚函数代码示例二、纯虚函数纯虚函数原理纯虚函数代码示例C++纯虚函数类似Python中的@abstractmethod装饰器三、相关面试题问题1:请说说虚函数和纯虚函数区别学习资料c++虚函数的作用是什么? - 心试的回答 - 知乎我们知道C++的三大特性就是封装、继承和多态。虚函数这个概念是在继承部分出现,主要就是为了实现多态机制。多态是可以用父类的指针指向子类的实例,可以直接调用子类的成员函数。这样父类就实现了多态。多态就是一个.原创 2022-04-28 09:16:10 · 1034 阅读 · 0 评论 -
重温机器学习概念:偏差(Bias)、方差(Variance)、欠拟合(Underfitting)、过拟合(Overfitting)
最近放寒假了,除了看论文,我还打算抽空复习一些机器学习的基础知识。今天主要复习了机器学习中偏差和方差这两个概念,能不能讲清楚偏差方差,经常被用来考察面试者的理论基础,我之前对有些地方是一知半解的,比如那个射靶图是什么意思,如今查阅了一些资料后终于恍然大悟。......原创 2022-01-24 17:04:03 · 1975 阅读 · 1 评论 -
3000字详解:终于理解机器学习中极大似然估计MLE和最大后验估计MAP的原理
在统计中最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, 简称MAP)是很常用的两种参数估计方法(根据观测到的数据去推测模型和参数),但很多人并不理解这两种方法的思路,本文将详细介绍他们的区别。...原创 2021-12-29 12:13:39 · 1403 阅读 · 0 评论 -
透彻理解机器学习中极大似然估计MLE的原理(附3D可视化代码)
在机器学习中,我们经常会遇到极大似然估计(Maximum Likelihood Estimation, MLE),本文将带你好好理解这个概念。极大似然估计的依据:概率最大的事件最有可能发生,或者说真实发生的事情总是概率最大的...原创 2021-12-27 18:27:31 · 3104 阅读 · 0 评论 -
深入理解NLP中LayerNorm的原理以及LN的代码详解
在NLP中,大多数情况下大家都是用LN(LayerNorm)而不是BN(BatchNorm)。最直接的原因是BN在NLP中效果很差,所以一般不用。LN是把**normalized_shape这几个轴的元素**都放在一起,取平均值和方差的,然后对每个元素进行归一化,最后再乘以对应的$\gamma$和$\beta$(**每个元素不同**)。**LN共有N1*N2个mean和var**(假设输入数据的维度为(N1,N2,normalized_shape),normalized_shape表示多个维度)......原创 2021-12-11 22:48:33 · 42952 阅读 · 19 评论 -
终于明白PCA降维的数学原理了
PCA(Principal Component Analysis)作为降维中最经典的方法,至今已有100多年的历史,它属于一种线性、非监督、全局的降维算法,是在面试中经常被问到的问题。机器学习中经常要处理成千上万甚至几十万维的数据在这种情况下,机器学习的资源消耗是不可接受的,因此我们必须对数据进行降维。但是降维必然意味着信息的丢失,不过鉴于实际数据本身常常存在的相关性,我们可以想办法在降维的同时将信息的损失尽量降低。原创 2021-12-05 22:58:30 · 3105 阅读 · 0 评论 -
监督学习中判别式模型和生成式模型的区别 | 无监督学习的生成模型GAN、VAE(生成样本)
文章目录一、监督学习中的判别式模型和生成式模型1.1 判别式模型(线性回归、SVM、NN)1.2 生成式模型(朴素贝叶斯、HMM)二、无监督学习中的生成式模型参考资料一、监督学习中的判别式模型和生成式模型有监督学习可以分为两类:判别模型和生成模型,我们所熟悉的神经网络,支持向量机和logistic regression,决策树等都是判别模型。而朴素贝叶斯和隐马尔可夫模型则属于生成式模型1.1 判别式模型(线性回归、SVM、NN)判别式模型由数据直接学习P(y∣x)P(y|x)P(y∣x)来预测yy原创 2021-11-30 13:11:25 · 3274 阅读 · 0 评论 -
机器学习中AUC的计算方法总结 | 面积法与Wilcoxon-Mann-Witney Test公式法的等价证明
AUC除了面积法计算,还可以用AUC的性质来计算:测试任意给一个正类样本和一个负类样本,正类样本的score有多大的概率大于负类样本的score转载 2021-10-19 12:47:45 · 2166 阅读 · 2 评论 -
机器学习模型常用评估指标:Precision(精准率、查准率)和Recall(召回率、查全率)的理解和应用
Precision和Recall是矛盾统一的两个指标:为了提高Precision,分类器需要尽量在“很有把握”的时候才把样本当做正样本,但这样往往由于过于保守,会漏掉很多“没有把握的正样本”,导致你的召回率(Recall)降低。原创 2021-10-18 11:48:07 · 2831 阅读 · 0 评论 -
Pytorch踩坑记:赋值、浅拷贝、深拷贝三者的区别以及model.state_dict()和model.load_state_dict()的坑点
之前一直不太搞明白浅拷贝和赋值、深拷贝到底有什么区别,直到被pytorch的model.state_dict()给坑了今天在和实验室同学讨论联邦学习框架代码的时候,终于明白了他们之间的区别,这里做个记录。.........原创 2021-03-31 10:13:54 · 18710 阅读 · 11 评论 -
从训练和预测的角度来理解Transformer中Masked Self-Attention的原理
1.训练阶段避免模型用到未来的信息,造成训练作弊2. 预测阶段要保持重复的单词预测结果是一样的,这样不仅合理,而且可以增量更新3.预测与训练时的模型架构保持一致,前向传播的方式是一致的...原创 2021-09-21 11:55:48 · 3771 阅读 · 11 评论 -
深入理解BatchNorm的原理、代码实现以及BN在CNN中的应用
BatchNorm是算法岗面试中几乎必考题,本文将带你理解BatchNorm的原理和代码实现,以及详细介绍BatchNorm在CNN中的应用。原创 2021-12-11 11:42:55 · 9689 阅读 · 2 评论