百面机器学习
大眼呆萌君
Python小白、算法小虾的三月突击之旅,Aza Aza Fighting!!!
求深度、求知识的连接与碰撞,不求写作的完整性。谢众多同行详尽的博文与回答,叹学海无涯。
展开
-
特征归一化
题目(2):为什么需要对数值类型的特征做归一化 (normalization)?回答角度:归一化的方式归一化的作用各方式的优劣数据类型结构化数据:数值型、类别型(ordinal, nominal)非结构化数据:包含的信息无法用一个简单的数值表示,并且每条数据的大小各不相同归一化方式min-max scalingPromay be useful where all p...原创 2019-12-31 19:22:34 · 167 阅读 · 0 评论 -
机器学习中的凸和非凸优化问题
题目(145):机器学习中的优化问题,哪些是凸优化问题,哪些是非凸优化问题?请各举一个例子。 - 凸优化定义 - 凸优化问题 - 非凸优化问题 - 凸优化定义:公式、geometric insight - 凸优化问题:逻辑回归;通过Hessian matrix的半正定性质判定;局部最优等价于全部最优 - 非凸优化问题:PCA;PCA求解方式凸优化问题逻辑回归Li(θ)=lo...原创 2019-12-28 19:08:07 · 2455 阅读 · 0 评论 -
L1正则项与稀疏性
题目(164):L1正则化使得模型参数具有稀疏性的原理是什么?回答角度:几何角度,即解空间形状微积分角度,对带L1限制的目标函数求导贝叶斯先验解空间形状正则条件和限制条件的等价性L1范数与L2范数的几何形状如果原问题目标函数的最优解不在解空间内,那么约束条件下的最优解一定是在解空间的边界上。[复习KKT, complementary slackness]...原创 2019-12-24 05:36:49 · 546 阅读 · 0 评论 -
梯度下降、随机梯度下降法、及其改进
GD, SGD, batch GD改进算法:momentum, ADAM, etc原创 2019-12-18 17:32:14 · 715 阅读 · 0 评论 -
无约束优化问题的求解
一阶、二阶算法和Taylor expansion之间的关系原创 2019-12-17 17:47:02 · 485 阅读 · 0 评论 -
验证梯度的正确性
题目(152):如何验证求目标函数梯度功能的正确性?考点:微积分、Taylor expansion近似(微积分)根据partial derivative的定义,∂L(θ)∂θi=L(θ1,⋯ ,θi+h,⋯ ,θp)−L(θ1,⋯ ,θi−h,⋯ ,θp)2h\frac{\partial L(\bm \theta)}{\partial \theta_i} = \frac{L(\theta_...原创 2019-12-16 17:25:20 · 397 阅读 · 0 评论 -
损失函数
题目(142):有监督学习涉及的损失函数有哪些?请列举并简述它们的特点。解释角度不同Label类型对应的损失函数:categorical (binary/multi-class classification), ordinal (ordinal classification), continuous (regression)classification: 0-1 loss and its ...原创 2019-12-16 01:29:20 · 419 阅读 · 0 评论