机器学习：逻辑回归与K折交叉验证

线性回归：预测一个连续的值

逻辑回归：预测一个离散的值

逻辑回归的引入

当我们要做二分类的时候，我们一般只希望得到两个值 y = 0 或 1
但是， 线性回归得到的值是在一个范围内的连续值，而且可能远 > 1 或远 < 0
这样会给分类带来困难，我们希望的值域：

决策边界

逻辑回归的损失函数

线性回归的做法是：损失函数

那么逻辑回归的损失函数怎么确定呢？

熵的引入

熵的意义：

热力学上： 熵是一种测量分子不稳定的指标，分子运动越不稳定，熵就越大
信息论（香农）： 熵是一种测量信息量的单位，信息熵，包含的信息越多，熵就越大。
机器学习: 熵是一种测量不确定性的单位，不确定性越大，概率越小，熵就越大！