吴恩达机器学习 第三周学习笔记

逻辑回归：

逻辑回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释，多类可以使用softmax方法进行处理。实际中最为常用的就是二分类的logistic回归。

hypothesis representation:

我们可以想到利用假设函数 y=h θ (x) 来预测分类，而普通的 h θ (x) 函数存在函数值大于1和小于0的情况，于是我们要构造特殊函数使 0≤h θ (x)≤1 。

通常将z大于0时即g（z）大于0.5时预测y为1

logistic function（Sigmoid function）:

y=h θ (x)=g(θ T x)  

假设函数代表了一种概率含义 

h θ (x)=P(y=1|x;θ)   当x时y为1的概率

P(y=1|x;θ)+P(y=0|x;θ)=1

function g = sigmoid(z)
g = zeros(size(z));
g=1./(1+exp(-z));
end

decision boundary （决策边界）：

函数z将图像区域划分为两部分z大于0时g（z）大于0.5预测为1，反之预测为0.

Cost Function ：

将该公式简化为一个十字

Gradient Descent ：

j的偏导推导过程如下

将上式带入梯度函数可得

function [J, grad] = costFunction(theta, X, y)
J = 0;
grad = zeros(size(theta));
J = 1/m*(-y'*log(sigmoid(X*theta)) - (1-y)'*(log(1-sigmoid(X*theta))));
grad = 1/m * X'*(sigmoid(X*theta) - y);

end

Overfitting and Underfitting

第一种称之为欠拟合，也叫高偏差， 

第三种称之为过拟合，也叫高方差，在过拟合中，假设函数很好的匹配了训练集，但并不能很好的匹配测试集。

两种解决过拟合的方法：

1减少特征数。

包括人工选择和模型选择算法

2正则化

保留所有特征

是部分theta尽量小

其中lamda为惩罚参数 过低会导致过拟合，过高会导致欠拟合