机器学习入门~分类与Logical回归

什么是分类问题？

〇是否为垃圾邮件。
〇网上交易是否为诈骗交易。
〇肿瘤是恶行还是良性。

• 对于这些问题模型，他们的结果都可以视作一个集合y，其中仅包含0（负类）和1（正类）👆。
  当然也有多分类问题，但二分类问题是基础。
• 一个例子：用线性回归执行分类问题是否可行？
  
  由上图👆，假设我们只有这八个训练样本，假设判定是否为良性的阈值设定为0.5，则阈值小于0.5对应在横轴上的点视为恶行，大于视为阳性，故，这条由线性回归算法得到的曲线看起来可以很好地对恶性良性肿瘤进行分类，但👇，当加入另外一个训练样本之后，明显会得到一条新的线性回归曲线，如果阈值仍设定为0.5，则会误判，故，使用线性回归算法进行分类绝对不是一个好的选择。
  
  
  👆同样的，使用线性回归算法得到的h_θ(x)值可能大于1或小于0，不满足分类问题只有0和1两种取值的结果，因此，对于分类问题，通常使用Logistic Regression算法使结果定位在0和1之间。Logistic回归算法是一种分类算法。

假设陈述

• 👆Logistic回归算法模型：
  想要使h_θ(x)的值介于0和1之间，将原来的假设函数h_θ(x)由h_θ(x) = θ^Tx改为h_θ(x) = g(θ^Tx)，其中，g(z) = 1/( 1+e^-z )（g函数称为Sigmoid函数或Logistic函数）。因此，假设函数h_θ(x)可以写作👇：
  
  sigmoid函数曲线👇：
  
• 对于假设函数h_θ(x)输出的解释：
  
  h_θ(x)的介于0和1之间，其结果的含义为预测结果为1的概率使多大。
  👆由上图的例子可知，如果特征量由x₀和x₁，x₀ = 1而x₁为肿瘤大小，得到h_θ(x)的结果为0.7，其含义为肿瘤为恶性的概率为0.7。
  h_θ(x)的结果可以视作一个概率，可以表示为P(y = 1 | x;θ)，含义为在给定特征量x和参数θ的情况下，y=1的概率为多大，实际上，y = 0的概率于y = 1的概率相加的结果即为1，因此得到其中一个，另一个的结果也可以得知。

决策界限

• 前情回顾：h_θ(x) = g(θ^Tx)，g(x) = 1/( 1 + e^-x )，其中，h_θ(x)的取值为P(y = 1 | x;θ)。
  我们将h_θ(x) >= 0.5 视作 y = 1，而h_θ(x) < 0.5 视作 y = 0。
• 什么时候h_θ(x) >= 0.5而什么时候h_θ(x) < 0.5？
  
  👆由g(x)的曲线可知，当x的取值大于0时，g(x)的值大于0.5，而对于h_θ(x) = g(θ^Tx)，当θ^Tx大于等于0时，h_θ(x)大于等于0.5。
• 一个使用Logistic回归的例子：前提是假设我们已经有了拟合好的参数向量θ。
  
  此处视 θ = [ -3,1,1 ]。
  通过之前对h_θ(x)预测结果的描述，倘若满足表达式 -3 + x₁ + x₂ >= 0，即可预测 y = 1，如👇下图所示。