面试题
凯旋的皇阿玛
小白
展开
-
为什么logistic回归的要用sigmoid函数?优缺点?
优点:1.数据压缩能力,将数据规约在[0,1]之间2.导数形式优秀,方便计算缺点:1.容易梯度消失,x稍大的情况下就趋近一条水平线2.非0中心化,在神经网络算法等情况下,造成反向传播时权重的全正全负的情况。为什么要用?答案1:logistic是基于Bernoulli分布的假设,也就是y|X~Bernoulli分布,而Bernoulli分布的指数族的形式就是1/(1+exp(-z))...翻译 2019-03-21 14:23:26 · 4241 阅读 · 0 评论 -
对比牛顿法、梯度下降法的关系
梯度下降法和牛顿法的区别与对比牛顿法快于梯度下降法,且是梯度下降法的极限。梯度下降法是一阶优化算法,牛顿法是二阶优化算法牛顿法的收敛速度相比梯度下降法常常较快牛顿法每次需要更新一个二维矩阵,计算代价很大,实际使用中常使用拟牛顿法牛顿法对初始值有一定要求,在非凸优化问题中(如神经网络训练),牛顿法很容易陷入鞍点(牛顿法步长会越来越小),而梯度下降法则很容易逃离鞍点(因此在神经网络训练中一...翻译 2019-03-21 14:46:38 · 903 阅读 · 0 评论 -
广告面试题之CTR
摘自七月在线习题库介绍CTR原理CTR在竞价广告系统中起神马作用?CTR(Click-Through-Rate)为点击率,它是互联网广告中最基本的概念,我们先来看看点击率对于一个竞价广告系统而言意味着神马?我们先来做一道简单的题目——阿迪和耐克作为广告主来竞价,阿迪出2块钱一个点击,耐克出1块钱一个点击,假如微信广告平台有100次曝光,它应该给谁?阿迪还是耐克?有人说,当然是给阿迪啊,它出...转载 2019-03-18 14:07:06 · 2292 阅读 · 0 评论 -
面试题之正则化
正则化-Regularization(也称为惩罚项或范数)就是通过对模型的参数在“数量”和“大小”方面做相应的调整,从而降低模型的复杂度,以达到避免过拟合的效果。如何理解正则化如果我们的目标仅仅是最小化损失函数(即经验风险最小化),那么模型的复杂度势必会影响到模型的整体性能;引入正则化(即结构风险最小化)可以理解为衡量模型的复杂度,同时结合经验风险最小化,进一步训练优化算法。正则化的作用正...翻译 2019-04-30 15:08:41 · 689 阅读 · 0 评论 -
如何理解bias和variance
首先 Error = bias + varianceError反映的是整个模型的准确度,bias反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度,variance反映的是模型每一次输出结果与模型输出期望之间的误差,即模型的稳定性;更准确地讲Error分成3个部分:Error = bias + variance + noise;...原创 2019-04-30 15:10:44 · 642 阅读 · 0 评论