#“Machine Learning”（Andrew Ng）#Week 3_1：Classification and Representation

1、Classfication

To attempt classification, one method is to use linear regression and map all predictions greater than 0.5 as a 1 and all less than 0.5 as a 0. However, this method doesn't work well because classification is not actually a linear function.

根据这个图，想一想为什么线性回归算法不适用于分类？？？

是不是对于离散分类时，线性回归算法分的“太笼统”，“太绝对”了！根据这个图，理解怎么个笼统绝对？

是不是样本集越分散，这个预测效果也就越差，比如上图中这个后加入的一个样本点，对整个模型中线性回归的影响！！！

除此之外，再想一想下面这个选择题：

2、Hypothesis Representation

谈谈逻辑回归，此处开始展示假设函数的表达式，也就是说，在分类问题中，要用什么样的函数来表示我们的假设，此前我们说过希望我们的分类器的输出值在0和1之间。因此，我们希望想出一个，满足某个性质的假设函数，这个性质是它的预测值要在0和1之间。

当我们使用线性回归的时候，这是一种假设函数的形式，其中 h(x) 等于 θ 的转置乘以 x，对于逻辑回归来说，我要把这个稍微改一下，把假设函数改成 g(θ 的转置乘以 x)， 其中，我将定义函数g如下： 当z是一个实数时 g(z)=1/(1+e^(-z)) ，这称为 S 型函数 (sigmoid function) 或逻辑函数。

而S型函数或逻辑函数行如下：

假设函数h(x)的输出解释：当我的假设函数输出某个数，我会认为这个数是对于新输入样本 x 的 y 等于1的概率的估计值。

（假设告诉我，对于一个特征为 x 的患者， y 等于 1 的概率是0.7 ，换句话说，我要告诉我的病人，非常遗憾，肿瘤是恶性的可能性是70％或者说0.7，要更加正式的写出来或者说写成数学表达式。数学表达式形式如下：）

3、Decision Boundary (决策边界)

The decision boundary is the line that separates the area where y = 0 and where y = 1. It is created by our hypothesis function.

假设函数可以表示为 h(x)=g(θTx) ，其中函数g被称为S形函数（sigmoid function），看起来是应该是这样的形状，它从0开始慢慢增加至1逐渐逼近1。

那么此时问题来了？这个假设函数何时会将y预测为1？什么时候又会将 y预测为0？是否此时应该有个判决门限呢？？？

于是我们引出一个顺其自然的前提：

具体地说，这个假设函数，输出的是，给定x时，y=1的概率。因此，如果我们想预测y=1 还是等于0 ，我们可以这样做：只要该假设函数输出y=1的概率大于或等于0.5，那么这表示 y更有可能等于1而不是0， 因此，我们预测y=1。在另一种情况下。如果预测y=1的概率小于0.5，那么我们应该预测y=0。

那么，我们有了对于 h(x)  ——> y  的基本判定原则时，我们自然会想到在这个判定原则的基础上，推导出g(z)中z的判决边界，进而再推导出theta转置乘x的限定。推导过程如下：

我们都知道，假设函数的属性，决定于参数。那么如何“因地制宜”的设置参数，能够制作出更好的“决策边界”，从而可以给出最优的预测？

下面是两个给出合适参数的情况下的决策边界例子：

早些时候，当我们谈论多项式回归或线性回归时，我们谈到可以添加额外的高阶多项式项，同样我们也可以对逻辑回归使用相同的方法。

所以，通过增加这些复杂的多项式特征变量，我可以得到更复杂的决定边界，而不只是用直线分开正负样本。

（决策边界不是训练集的属性，而是假设本身及其参数的属性！！！只要我们给定了参数向量θ圆形的决定边界，就确定了我们不是用训练集来定义的决策边界，我们用训练集来拟合参数θ。）