【算法面试 cheat sheet】logistic regression 逻辑回归篇

逻辑回归（logistic regression）是最基础的分类算法之一，在面试中经常作为切入点来考察候选人的机器学习算法基础能力。

那关于逻辑回归，我们应该掌握什么，才能赢得面试官的认可呢？下面是自查清单，准备面试前可以一一 review 下。

💡 Cheat Sheet

• 逻辑回归公式

• sigmoid 函数形式

  • 【延伸知识 】softmax 函数形式

• 损失函数

  • 如何从最大似然角度解释损失函数
  • 目标 y 服从什么分布

• 梯度下降

  • 一般梯度下降（batch）
  • 【延伸知识 】随机梯度下降
  • 【延伸知识 】mini-batch 梯度下降

• 如何解决过拟合

  • 正则函数

    • 【重点 】 l1 正则和 l2 正则的区别
      大部分同学都见过下面这个经典图，但这里需要说明白图是怎么画出来的（hint: 有约束的最优化问题，拉格朗日乘子法）
      

    • 【进阶 】从贝叶斯角度解读 l1 正则和 l2 正则，说明两个正则的先验分布的不同

    • 【进阶 】写出 l1，l2 正则的解析解
      

    • 【延伸知识 】还有哪些其他正则形式

💡 最后总结一下，逻辑回归中关于正则项的问题是相对来说比较重要的，一定要好好准备。

注：文中所有配图来自 the elements if statistical learning

最后欢迎大家来我的公众号，咨询或者找我玩，搜索：阿塔聊算法。可以看到更详细的内容哟～