吴恩达机器学习视频总结Day03之Logistic回归

1.Logistic(逻辑)线性回归 是一种分类算法，常用于解决二分类问题，即结果为 是/否 或 正/负等。

解释：Logistic线性回归是将最终的输出值定义在【0,1】之间。

           一般线性回归的预测函数为

        

Logistic线性回归为g(θ^t *X)

g(z)=1/(1+e^-z)

sigmoid函数 或者 logistic函数 ，一样的意思。

2.决策边界 对不同类别数据的分界线。

注释：当g(z)中z>0时，y=g(z)=1的概率大于y=0，因此y=1的条件为z>0.

3.如何根据数据自动化拟合参数θ，即确定Logistic的代价函数（代价函数必须是凸函数，用梯度下降法才能找到全局最优值）

当y=1时，代价函数为-log(h(x)).解释为：当预测值为1，并且真实值y确实为1 ，此时代价函数的Cost为0，惩罚为0；当y确实为1而预测值h(x)却为0时，则惩罚趋于无限大。

将两种条件下的Cost(h(x),y)写为一种

因此，最终的代价函数J(θ)为：

除了梯度下降外，还有这些算法效率更高，但也更复杂。

------------------------------------------------------------------------------------------------------------------------------------------------------------------

多元分类问题

当有三个类别时，涉及三个分类器，输入一个新的变量X，在三个分类器中进行计算，选择概率最高的那个类别，即当前x所属类别。