面试总结
Easy.miclover
做一个会思考的程序猿
展开
-
机器学习篇一之基础篇1
目录一、常见模型适应的场景的理解二、AUC、IOU、ROC三、 过拟合与欠拟合四、判别模型和生成模型五、 特征处理的方法一、常见模型适应的场景的理解KNN:需要一个特别容易解释的模型的时候。比如需要向用户解释原因的推荐算法。贝叶斯:需要一个比较容易解释,而且不同维度之间相关性较小的模型的时候。可以高效处理高维数据,虽然结果可能不尽如人意。决策树:它能够生成清晰的...原创 2018-09-26 19:39:31 · 351 阅读 · 0 评论 -
深度学习-迭代优化器的原理
目录1、SGD 以及学习率的选择方法、带动量的 SGD 1)随机梯度下降 2)带动量的SGD2、自适应学习率算法:AdaGrad、RMSProp、Adam 1)AdaGrad 2)RMSProp 3)Adam...原创 2019-05-08 12:58:24 · 872 阅读 · 0 评论 -
深度学习-深度学习调参经验
目录二、深度学习调参经验一、参数初始二、数据预处理方式三、训练技巧四、尽量对数据做shuffle五、Ensemble二、深度学习调参经验一、参数初始权重W的:uniform均匀分布初始化:Xavier初始法,适用于普通激活函数(tanh,sigmoid):scale = np.sqrt(3/n)二、数据预处理方式zero-center :X -= n...原创 2019-05-05 13:40:41 · 487 阅读 · 0 评论 -
深度学习-卷积神经网络(CNN)
目录一、CNN1、卷积2、什么时候用local-conv、什么时候用全卷积3、可分离卷积模型压缩?4、CNN常见问题5、Batch-Normalization:(加速训练)6、Pooling作用?max-pooling和mean-pooling7、dropout8、L1与L2正则化7、激活函数8、ReLU代替 sigmoid 的利弊9、卷积反向传播过...原创 2019-05-04 13:32:40 · 1484 阅读 · 1 评论 -
机器学习十一之EM算法
二十、EM算法 有时候因为样本的产生和隐含变量有关(隐含变量是不能观察的),而求模型的参数时一般采用最大似然估计,由于含有了隐含变量,所以对似然函数参数求导是求不出来的,这时可以采用EM算法来求模型的参数的(对应模型参数个数可能有多个),EM算法一般分为分两步: E步:选取一组参数,求出在该参数下隐含变量的条件概率值(期望); M步:结合E步求出的隐含变量条件概...原创 2019-04-24 11:03:38 · 222 阅读 · 0 评论 -
机器学习十之贝叶斯相关知识
十九、贝叶斯 在所有的机器学习分类算法中,朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法,比如决策树,KNN,逻辑回归,支持向量机等,他们都是判别方法,也就是直接学习出特征输出Y和特征X之间的关系,要么是决策函数Y=f(X),要么是条件分布P(Y|X)。但是朴素贝叶斯却是生成方法,也就是直接找出特征输出Y和特征X的联合分布P(X,Y),然后用P(Y|X...原创 2019-04-24 10:55:07 · 358 阅读 · 0 评论 -
深度学习-前言
数据量大,数据之间有局部相关性整体解释:1)自下而上的非监督学习2)自顶向下的监督学习接下来,在深度学习板块,我将结合自己找工作时候涉及到的一些深度学习方面的知识进行总结,希望可以对博友们有所帮助。主要分为一下及部分进行。一、 卷积相关问题.1、卷积2、什么时候用local-conv、什么时候用全卷积3、可分离卷积模型压缩?4、CNN常见问题.....原创 2019-05-02 23:33:06 · 757 阅读 · 0 评论 -
机器学习九之XGBoost、LightBGM调参
十八、XGBoost、LightBGM调参说明:这个总结拿出来是因为当时自己面试阿里的时候,遇到的第一个问题,感觉有必要单独列出来,总结一下。XGBoost控制过拟合: 当你观察到训练模型时,训练精度特别高,比如auc较大,但是测试精度很低,很可能是出现了过拟合问题。在xgb调中,一般有两种方式用于控制过拟合:1、直接控制参数的复杂度 包括max_de...原创 2019-03-15 12:42:31 · 808 阅读 · 0 评论 -
机器学习八之Xgboost和LightGBM
目录Xgboost ①改进残差函数 ②采用预排序 ③Shrinkage(缩减)【相当于学习速率】 ④列抽样GBDT和xgboost的区别:lightGBM 与 XGBoost的区别 1、切分算法(切分点的选取) 2、决策树生长策略上: 3、histogram...原创 2019-03-15 12:33:35 · 523 阅读 · 0 评论 -
机器学习五之最大熵模型
目录十五、最大熵模型(maximum entropy model,MaxEnt)最大熵模型的优点有:最大熵模型的缺点有:十五、最大熵模型(maximum entropy model,MaxEnt)最大熵模型假设分类模型是一个条件概率分布P(Y|X),X为特征,Y为输出。定义在条件概率分布P(Y|X)上的条件熵为: ...原创 2019-03-07 16:50:57 · 1394 阅读 · 0 评论 -
机器学习四之SVM、KNN、K-mean
目录十二、SVM与LR相同点:不同点:十三、KNN(KD树的建立)十四、K-mean1)层次聚类2)密度聚类(DBSCA)3)谱聚类十二、SVM与LR相同点:LR和SVM都是分类算法;监督学习算法;判别模型;不同点:1)、损失函数不同。逻辑回归,通过极大似然估计的方法估计出参数的值;支持向量机基于几何间隔最大化原理,认为存在最大几何间隔的分类面为...原创 2019-03-07 16:47:24 · 1304 阅读 · 0 评论 -
机器学习七之随机森林、Adaboost、GBDT
目录十七、随机森林、Adaboost、GBDT、XGBoost、LightBGM一、随机森林二、Adaboost三、GBDT (梯度提升树) 四、GBDT和随机森林十七、随机森林、Adaboost、GBDT一、随机森林 随机森林在使用CART决策树作为弱学习器的基础上,决策树的建立做了改进,对于普通的决策树,我们会在节点上所有的n个样本特...原创 2019-03-14 14:16:13 · 589 阅读 · 0 评论 -
机器学习六之决策树
目录 十六、决策树 1、信息论里基本概念 1)熵 2)联合熵 3)条件熵 4)互信息(信息增益) 2、ID3 缺点和不足 3、C4.5 缺点和不足 4、CART树 决策树剪枝 决策树优缺点 决策树算法的优点: 决策树算法的缺点: 十六、决策树 1、信息论里基本概念 为了更好的理解,需要了解的概率必备知...原创 2019-03-08 16:07:38 · 426 阅读 · 0 评论 -
机器学习篇三之支持向量机(SVM)
目录十一、SVM1、SVM为什么采用间隔最大化?2、函数间隔和几何间隔3、推导4、KKT条件(凸优化问题)5、SVM核函数的选择6、SVM算法的主要优点和缺点:7、SVM为什么会引入拉格朗日优化算法?8、SVM投票机制 十一、SVM SVM,全称是support vector machine,中文名叫支持向量机。SVM是一个面向数据的...原创 2018-11-09 14:10:09 · 1077 阅读 · 0 评论 -
决策树和集成学习
目录一、分类树和回归树二、集成学习(Bagging和Boosting) 1、Bagging方法 2、Boosting方法 1)Adaboost 2)GBDT 3)Xgboost 4)LightGBM (基于决策树算法的分布式梯度提升框架) 本...原创 2018-09-23 13:53:32 · 2481 阅读 · 0 评论 -
机器学习篇二基础篇2
目录六、模型参数无约束优化问题七、PCA、LDA、SVD1、PCA2、LDA3、SVD八、线性回归九、逻辑回归十、LR与线性回归六、模型参数无约束优化问题梯度下降法,最小二乘法、牛顿法、拟牛顿法、坐标轴下降法线性回归的一般形式: ...原创 2018-09-26 19:50:33 · 252 阅读 · 0 评论 -
深度学习-卷积实例
目录卷积实例了解LeNet-5AlexNet:VGG-16ResNets:谷歌Inception(GoogLeNet): 卷积实例了解深度卷积网络研究最多的就是如何将第一周所学的基本组件进行有效的组合,设计更加高效的神经网络结构。经典网络结构:LeNet-5使用sigmoid和tanh激活函数。原始Le-Net使用average-pooling。大...原创 2019-05-06 09:36:06 · 337 阅读 · 0 评论