Coursera学习笔记Week3

• classification and representation

• classification

二元分类、多元分类

• hypothesis representation（假设函数）

假设函数h（x）表示y=1的概率，范围（0,1）。

• decision boundary(决策边界)

决策边界是区分y=0和y=1的曲线

决策边界是假设函数的一个属性，和theta有关；

决策边界不是训练集的属性，而是假设本身及其参数的属性。不是用训练集来定义决策边界，而是用训练集来确定theta。

• 逻辑回归模型

• cost function(代价函数）

• simplified cost function and gradient descent

simplified cost function

梯度下降法用于逻辑回归的代价函数

• 使用其他高级算法最小化代价函数

fminunc无约束最小化函数，会自动选择算法

• multiclass classification

将多元分类问题（分为k类）转换为k个二元分类问题。

• solve the problem of overfitting

• the problem of overfitting

过拟合问题是训练集的数据都满足，但预测时出现泛化现象。

如果变量个数过多，样本数目过少容易出现过拟合。

解决方法：1、减少选取变量的数量（可能会使训练集拟合度降低）；2、正则化：保留所有变量但减小参数值或变量次数。

• cost function

lambda是正则化参数，如果lambda过大会使曲线过于平滑出现欠拟合现象，如果lambda过小则达不到使曲线变平滑的作用。

• 正则化用于线性回归

• 正则化用于逻辑回归