学习AI算法,请关注微信公众号:机器学习算法全栈工程师……

对机器学习,深度学习QQ群:252682362。注明自己是机器学习爱好者!

机器学习面试题

目前我整理了一些机器学习面试题,欢迎大家留言给出正确答案!

1、LR为什么用sigmoid函数。这个函数有什么优点和缺点?为什么不用其他函数?

答:设计一个分类模型,首先要给它设定一个学习目标。在支持向量机中,这个目标是max-margin;在adaboost中,目标是优化一个指数损失函数。那么在logistic regression (LR)中,这个目标是什么呢?最大化条件似然度。考虑一个二值分类问题,训练数据是一堆(特征,标记)组合,(x1,y1), (x2,y2), …. 其中x是特征向量,y是类标记(y=1表示正类,y=0表示反类)。LR首先定义一个条件概率p(y|x;w)。 p(y|x;w)表示给定特征x,类标记y的概率分布,其中w是LR的模型参数(一个超平面)。有了这个条件概率,就可以在训练数据上定义一个似然函数,然后通过最大似然来学习w。这是LR模型的基本原理。

那么接下来的问题是如何定义这个条件概率呢?sigmoid函数就派上用场了。我们知道,对于大多数(或者说所有)线性分类器,response value(响应值) <w,x> (w和x的内积) 代表了数据x属于正类(y=1)的confidence (置信度)。<w,x>越大,这个数据属于正类的可能性越大;<w,x>越小,属于反类的可能性越大。<w,x>在整个实数范围内取值。现在我们需要用一个函数把<w,x>从实数空间映射到条件概率p(y=1|x,w),并且希望<w,x>越大,p(y=1|x,w)越大;<w,x>越小,p(y=1|x,w)越小(等同于p(y=0|x,w)越大),而sigmoid函数恰好能实现这一功能(参见sigmoid的函数形状):首先,它的值域是(0,1),满足概率的要求;其次,它是一个单调上升函数。最终,p(y=1|x,w)=sigmoid (<w,x>).

综上,LR通过最大化类标记的条件似然度来学习一个线性分类器。为了定义这个条件概率,使用sigmoid 函数将线性分类器的响应值<w,x>映射到一个概率上。sigmoid的值域为(0,1),满足概率的要求;而且是一个单调上升函数,可将较大的<w,x>映射到较大的概率p(y=1|x,w)。sigmoid的这些良好性质恰好能满足LR的需求。

2、决策树如何防止过拟合

答:

3、KKT条件用哪些,完整描述

答:

4、L1正则为什么可以把系数压缩成0,坐标下降法的具体实现细节.

答:

5、Python如何定义一个私有变量

答:

7、K-means聚类个数选择,做什么样的试验来确定K

答:

10、SVM怎么防止过拟合

答:

11、SVM原问题和对偶问题关系?

答:

13、为什么L1正则可以实现参数稀疏,而L2正则不可以?

答:

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u013709270/article/details/78152001
文章标签: 机器学习 面试题
个人分类: 机器学习
所属专栏: 机器学习
想对作者说点什么? 我来说一句

机器学习面试题汇总-七月在线

2018年01月03日 5.93MB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭