机器学习：逻辑回归原理及实现代码

逻辑回归（LR）实际上就是输入一系列特征，输出判别结果，是常用的机器学习分类器。LR普及的原因有三个：
（1）原理十分简单，容易实现
（2）LR是互联网中比较有影响力的算法，是广告点击率（CTR）预测的基础算法（要知道，广告可是互联网公司的盈利来源）
（3）LR是深度学习的基本组成单元（激活函数）
1、逻辑回归初识：
给定N个样本，（x，y），x表示特征向量，y为标签（-1,1）。

注：实际上就是特征乘以权值，然后通过sigmoid函数映射到概率空间。
这个公式求出来的是该样本属于正类的概率，然后我们以这个为目标函数，进行学习，求到最好的W。
对上式使用最大似然求解（）求最优解


2、L1，L2正则化

注：L1可以得到稀疏的特征，即会使W更多的产生零值，L2可以使W更多的接近零
经典解释：

理解起来也简单，把实际上就是约束条件下求最优解问题，等高线表示目标函数，阴影区域表示约束条件（矩形和圆应该都能理解吧）

3、基于L2的目标函数求解过程

梯度下降法：

拟牛顿法：（有点难，楼主也没看懂，以后看懂了再分享啊）