文章目录
线性回归:预测一个连续的值
逻辑回归:预测一个离散的值
逻辑回归的引入
当我们要做二分类的时候,我们一般只希望得到两个值 y = 0 或 1
但是, 线性回归得到的值是在一个范围内的连续值,而且可能远 > 1 或远 < 0
这样会给分类带来困难,我们希望的值域:
决策边界
逻辑回归的损失函数
线性回归的做法是:损失函数
那么逻辑回归的损失函数怎么确定呢?
熵的引入
熵的意义:
热力学上: 熵是一种测量分子不稳定的指标,分子运动越不稳定,熵就越大
信息论(香农): 熵是一种测量信息量的单位,信息熵,包含的信息越多,熵就越大。
机器学习: 熵是一种测量不确定性的单位,不确定性越大,概率越小,熵就越大!