机器学习面试题

原创 2017年10月02日 18:43:13

目前我整理了一些机器学习面试题,欢迎大家留言给出正确答案!

1、LR为什么用sigmoid函数。这个函数有什么优点和缺点?为什么不用其他函数?

答:设计一个分类模型,首先要给它设定一个学习目标。在支持向量机中,这个目标是max-margin;在adaboost中,目标是优化一个指数损失函数。那么在logistic regression (LR)中,这个目标是什么呢?最大化条件似然度。考虑一个二值分类问题,训练数据是一堆(特征,标记)组合,(x1,y1), (x2,y2), …. 其中x是特征向量,y是类标记(y=1表示正类,y=0表示反类)。LR首先定义一个条件概率p(y|x;w)。 p(y|x;w)表示给定特征x,类标记y的概率分布,其中w是LR的模型参数(一个超平面)。有了这个条件概率,就可以在训练数据上定义一个似然函数,然后通过最大似然来学习w。这是LR模型的基本原理。

那么接下来的问题是如何定义这个条件概率呢?sigmoid函数就派上用场了。我们知道,对于大多数(或者说所有)线性分类器,response value(响应值) <w,x> (w和x的内积) 代表了数据x属于正类(y=1)的confidence (置信度)。<w,x>越大,这个数据属于正类的可能性越大;<w,x>越小,属于反类的可能性越大。<w,x>在整个实数范围内取值。现在我们需要用一个函数把<w,x>从实数空间映射到条件概率p(y=1|x,w),并且希望<w,x>越大,p(y=1|x,w)越大;<w,x>越小,p(y=1|x,w)越小(等同于p(y=0|x,w)越大),而sigmoid函数恰好能实现这一功能(参见sigmoid的函数形状):首先,它的值域是(0,1),满足概率的要求;其次,它是一个单调上升函数。最终,p(y=1|x,w)=sigmoid (<w,x>).

综上,LR通过最大化类标记的条件似然度来学习一个线性分类器。为了定义这个条件概率,使用sigmoid 函数将线性分类器的响应值<w,x>映射到一个概率上。sigmoid的值域为(0,1),满足概率的要求;而且是一个单调上升函数,可将较大的<w,x>映射到较大的概率p(y=1|x,w)。sigmoid的这些良好性质恰好能满足LR的需求。

2、决策树如何防止过拟合

答:

3、KKT条件用哪些,完整描述

答:

4、L1正则为什么可以把系数压缩成0,坐标下降法的具体实现细节.

答:

5、Python如何定义一个私有变量

答:

7、K-means聚类个数选择,做什么样的试验来确定K

答:

10、SVM怎么防止过拟合

答:

11、SVM原问题和对偶问题关系?

答:

13、为什么L1正则可以实现参数稀疏,而L2正则不可以?

答:

版权声明:本文为博主原创文章,未经博主允许不得转载。

BAT机器学习面试题及解析(256-260题)

本系列作为国内首个AI题库,囊括绝大部分机器学习和深度学习的笔试面试题、知识点,可以作为机器学习自测题,也可以当做查漏补缺的资料库。前255题已发,后续请关注本公众号。 关于如何学习机器学习,最...

机器学习/数据挖掘/算法岗位面试题汇总

几个月前刚刚经历校招,投的多是机器学习和算法相关的岗位,特此分享面试中遇到及自己认为比较重要的内容: 1、过拟合和欠拟合怎么判断,如何解决?答:主要可以通过训练误差和测试误差入手判断是否过拟合或欠拟合...

BAT机器学习面试题及解析(251-255题)

251.我们建立一个5000个特征, 100万数据的机器学习模型. 我们怎么有效地应对这样的大数据训练 :  A. 我们随机抽取一些样本, 在这些少量样本之上训练 B. 我们可以试用在线机器学习算...

机器学习常见算法面试题总结

机器学习常见算法面试题总结朴素贝叶斯P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B) 所以有:P(A|B)=P(B|A)*P(A)/P(B) 对于给出的待分类项,求解在此项出现的条件下...

BAT面试题精选 | 一个完整机器学习项目的流程(视频)

请简要说说一个完整机器学习项目的流程。 作者:@寒小阳、龙心尘 收入《BAT机器学习面试1000题系列》第30题,其他题目见文末链接 1 抽象成数学问题   明确问题是进行机器学习的第...

BAT机器学习面试题及解析(261-265题)

本系列作为国内首个AI题库,囊括绝大部分机器学习和深度学习的笔试面试题、知识点,可以作为机器学习自测题,也可以当做查漏补缺的资料库。前260题已发(链接见文末),后续请关注本公众号。 关于如何学...

不容错过的50道机器学习面试题及答案

转载自http://www.ppvke.com/Blog/archives/381751.什么是机器学习机器学习是为了应对系统程序设计,属于计算机科学类的学科,它能根据经验进行自动学习和提高。例如:一...
  • jiede1
  • jiede1
  • 2017年03月04日 14:20
  • 2525

机器学习面试题合集Collection of Machine Learning Interview Questions

The Machine Learning part of the interview is usually the most elaborate one. That’s the reason we h...

机器学习——神经网络、深度学习 知识点总结 及 面试题汇总

1、反向传播思想: 计算出输出与标签间的损失函数值,然后计算其相对于每个神经元的梯度,根据梯度方向更新权值。 (1)将训练集数据输入到ANN的输入层,经过隐藏层,最后达到输出层并输出结果,...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习面试题
举报原因:
原因补充:

(最多只允许输入30个字)