第 1 节课 Classification and Representation
线性回归算法不能用于分类问题(是否是垃圾邮件,肿瘤是否是恶性)
逻辑回归
S型函数(逻辑函数):把hθ(x)的值化为0-1之间
如果hθ(x)=0.7,则认为y=1的概率是0.7
决策边界(decision boundary)
更复杂的决策边界:x1^2+x2^2>=1时y=1
第 2 节课 Logistic Regression Model 逻辑回归模型
cost function:
Cost() y=1时
y=0时
Cost()的两个式子合并:
θ变换:
高级优化:
编程例子:
fminunc:Octave里的无约束最小化函数
‘GradObj’,'on':设置梯度目标参数为打开,要给算法提供一个梯度
'MaxIter','100':最大迭代次数为100
输出:
exitFlag=1表示已收敛
第 3 节课 Multiclass Classification 多类别分类
把n类别分类化为n个两类别分类第 5 节课 Solving the Problem of Overfitting 解决过度拟合问题
欠拟合,合适和过拟合的两个例子(连续和离散):
解决过拟合的方法:
1.减少属性的个数
2.正则化
正则化:
cost function :
其中λ是一个比较大的值,来限制θ(除了θ0)的影响力。但是如果λ过大,会欠拟合
正则化之后的
梯度下降:
j=1....n,j=0时跟以前一样不变
其中
是个接近于1的数,如0.99
正则化之后的
正规方程:
逻辑回归的正则化:
cost function f(θ)=
梯度下降: