- 博客(19)
- 资源 (7)
- 收藏
- 关注
RSS订阅
转载 机器学习面试必知：知识点大全（持续更新中）
牛客网原链接知识整理–机器学习知识点整理这里做了一点小改动一、机器学习单模型1、LR的损失函数的公式和函数2、LR的推导过程3、LR如何解决共线性，为什么深度学习不强调4、LR如何防止过拟合5、LR分布式训练怎么做6、LR为什么使用Sigmoid7、SVM的损失函数8、SVM的推导过程9、SVM怎么扩展到多分类问题10、SVM分类泛化，SVM回归泛化11、LR和SVM...
2019-03-05 14:46:25
1238
1
原创 机器学习面试必知：贝叶斯原理
先总结下频率派与贝叶斯派各自不同的思考方式：～频率派把未知参数θ\thetaθ当作是固定的未知常数。样本X是随机的，重点研究的是样本空间，大部分的计算也是针对样本X的分布～贝叶斯派截然相反，认为θ\thetaθ是随机变量，样本X是固定的。重点研究的是参数θ\thetaθ分布频率派很好理解，因为X样本已知，所以在最大似然方法下很容易去求得一个θ\thetaθ值使得模型的概率最大。而贝叶斯认...
2019-03-26 15:57:16
462
原创 机器学习面试必知：核技巧
许多线性模型可以转化为一个等价的对偶表示。对偶表示中，预测的基础也是在训练数据点处计算的核函数的线性组合。对于基于固定的非线性特征空间映射ϕ(x)\phi(x)ϕ(x)的模型来说，核函数由下面的关系给出k(x,x′)=ϕ(x)Tϕ(x′)k(x,x')=\phi(x)^{T}\phi(x')k(x,x′)=ϕ(x)Tϕ(x′)linrear kernel...
2019-03-14 16:24:59
354
原创 机器学习面试必知：KL散度
考虑某个未知的分布p(x)p(x)p(x)，假定我们已经使用了一个近似的分布q(x)q(x)q(x)对它进行了建模。如果我们使用q(x)q(x)q(x)来建立一个编码体系，用来把x的值传给接受者，那么由于我们使用了q(x)q(x)q(x)而不是真正的p(x)p(x)p(x)，因此在具体化x的值时，我们需要一些附加信息。我们需要的平均的附加信息量为KL(p∣∣q)=−∫p(x)lnq(x)dx−(−...
2019-03-12 15:04:12
898
原创 机器学习面试必知：牛顿法实现sqrt
牛顿法是一种常用的求方程数值解，具体方法如下若在区间III中，f(x)f(x)f(x)连续可导，且有唯一零点x0x_{0}x0，则任取x1∈Ix_{1}\in Ix1∈I，定义数列xn+1=xn−f(xn)f′(xn)x_{n+1}=x_{n}-\frac{f(x_{n})}{f^{'}(x_{n})}xn+1=xn−f′(xn)f(xn)经过多次迭代后xnx_...
2019-03-11 20:38:23
610
原创 机器学习面试必知：AUC
AUC指的是ROC曲线下的面积的大小，该值能够量化地反映基于ROC曲线衡量出的模型性能。计算AUC值只需要沿着ROC横轴做积分就可以了。由于ROC曲线一般都在y=x这条直线的上方（如果处于下方，反转概率为1-p即可）所以AUC的值[0.5,1]。AUC越大，说明分类器越可能把真正的正样本排在前面，分类性能越好。...
2019-03-11 16:58:58
1425
原创 机器学习面试必知：拟牛顿法（DFP和BFGS）
牛顿法的特点就是收敛快。但是运用牛顿法需要计算二阶偏导数，而且目标函数的Hesse矩阵可能非正定。为了克服牛顿法的缺点，人们提出了拟牛顿法，它的基本思想是用不包含二阶导数的矩阵近似牛顿法中的Hesse矩阵的逆矩阵。牛顿法的迭代公式x(k+1)=x(k)+λd(k)x^{(k+1)}=x^{(k)}+\lambda d^{(k)}x(k+1)=x(k)+λd(k)d(k)=−▽2f(x(k))...
2019-03-11 15:02:09
1366
原创 机器学习面试必知：随机森林
随机森林，指的是利用多棵树对样本进行训练并预测的一种分类器。随机森林由多个决策树构成。决策树中的每一个节点都是关于某个特征的条件，为的是将数据集按照不同的响应变量一分为二。利用不纯度可以确定节点（最优条件），对于分类问题，通常采用基尼不纯度（将来自集合中的某种结果随机应用于集合中某一数据项的预期误差率）或者信息增益（当前熵与两个新群组经加权平均后的熵之间的差值）。能否将随机森林中的基分类器由...
2019-03-10 15:41:30
1743
原创 机器学习面试必知：MLE最大似然估计与MAP最大后验概率
MLE模型已定，参数未知，MLE的目标就是找出一组参数，使得模型产生出的观测数据的概率最大arg maxu p(X;u)arg\ \underset{u}{max}\ p(X;u)arg umax p(X;u)假设抛十次硬币TTTHTTTHTT（H正，T反）假设正面朝上的概率是uuup(x;u)=∏ip(xi;u)=∏i=1nuxi(1−u)xip...
2019-03-07 15:08:18
2349
1
原创 机器学习面试必知：评价指标和含义
TP—正确地预测了正类，正→\rightarrow→正TN—正确地预测了负类，负→\rightarrow→负FP—错误地预测了正类，负→\rightarrow→正FN—错误地预测了负类，正→\rightarrow→负准确率Accuracy=TP+TNTP+TN+FP+FNAccuracy=\frac{TP+TN}{TP+TN+FP+FN}Accuracy=TP+TN+FP+FNTP+...
2019-03-06 15:58:13
986
原创 机器学习面试必知：特征归一化
为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得不同指标之间具有可比性。线性归一化，对原数据进行线性变换，使得结果映射到[0,1]的范围。Xnorm=X−XminXmax−XminX_{norm}=\frac{X-X_{min}}{X_{max}-X_{min}}Xnorm=Xmax−XminX−Xmin零均值归一化，将原数据映射到均值为0，标准差为1的分...
2019-03-06 15:22:00
591
原创 机器学习面试必知：XGBoost简介
原始的GBDT算法基于经验损失函数的负梯度来构造新的决策树，只是在决策树构建完成后再进行剪枝。而XGBoost在决策树构建阶段就加入了正则项即Lt=∑il(yi,Ft−1(xi)+ft(xi))+Ω(ft)L_{t}=\sum_{i}l(y_{i},F_{t-1}(x_{i})+f_{t}(x_{i}))+\Omega(f_{t})Lt=i∑l(yi,Ft−1(xi)+ft(xi))...
2019-03-06 14:41:04
928
原创 机器学习面试必知：GBDT
Freidman提出了梯度提升算法，利用最速下降法的近似方法，关键是利用损失函数的负梯度在当前模型的值−[∂L(y,f(xi))∂f(xi)]f(x)=fm−1(x)-[\frac{\partial L(y,f(x_{i}))}{\partial f(x_{i})}]_{f(x)=f_{m-1}(x)}−[∂f(xi)∂L(y,f(xi))]f(x)=fm−1(x)作为回归问题提升树算...
2019-03-05 14:22:17
769
原创 机器学习面试必知：偏差-方差分析
过拟合形象确实是最大似然方法的一个不好的性质，但我们在使用贝叶斯方法对参数进行求和或者积分时，过拟合不会出现。回归线性模型中的最小平方方法也同样会产生过拟合。虽然引入正则化可以控制具有多个参数的模型的过拟合问题，但是这也会产生一个问题，如何确定正则化系数λ\lambdaλ 。我们已经知道当使用平方损失函数时，最优的预测由条件期望给出即h(x)=E[t∣x]=∫tp(t∣x)dth(x)=E[...
2019-03-04 16:50:14
1607
原创 机器学习面试必知：集成学习之Bagging,Boosting与Stacking
集成学习是一大类模型融合策略和方法的统称，其中包含多种集成学习的思想。主要有Bagging与Boosting，当然还有Stacking。BoostingBoosting的过程很类似于人类学习的过程，我们会对错误的地方反复巩固学习，是不是每个人都有一本错题集反复练习。以后学习的时候，我们就针对翻过的错误加强学习，以减少类似的错误发生。如此反复，直到犯错误的次数减少到很低的程度。所以Boost...
2019-03-04 15:25:41
1063
原创 机器学习面试必知：决策树
决策树（decision tree）是一种基本的分类与回归方法，主要优点时模型具有可读性，分类速度快，学习时利用训练数据根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括三个步骤：特征选择，决策树的生成和决策树的修剪。决策树学习的损失函数通常是正则化的极大似然函数，决策树学习的策略是以损失函数为目标函数的最小化。确定了损失函数后，学习问题就变...
2019-03-03 18:38:24
753
原创 机器学习面试必知：高斯混合模型GMM和期望最大化EM算法
通过将更基本的概率分布（例如高斯分布）进行线性组合的这样的叠加方法，可以被形式化为概率模型，被称为混合模型。通过使用足够多的高斯分布，并且调节它们的均值和方差以及线性组合的系数，几乎所有的连续概率密度都能以任意的精度去近似。我们考虑K个高斯概率密度的叠加，形式为p(x)=∑k=1KπkN(x∣uk,Σk)p(x)=\sum_{k=1}^{K}\pi_{k}N(x|u_{k},\Sigma_{...
2019-03-01 17:54:23
1976
原创 机器学习面试必知：LR中的共线性问题和解决方法
多重共线性是使用线性回归算法时经常要面对的一个问题。在其他算法中，例如决策树或者朴素贝叶斯，前者的建模过程时逐渐递进，每次都只有一个变量参与，这种机制含有抗多重共线性干扰的功能；后者假设变量之间是相互独立的。但对于回归算法来说，都要同时考虑多个预测因子，因此多重共线性不可避免。我们先来看共线性的原理，假设k个自变量的多元线性回归模型：y=θ0+θ1x1+...+θkxk=θTx+ϵy=\th...
2019-03-01 13:43:10
3957
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人