3.2 线性回归
一元线性回归
可以利用将凸函数对两个变量的偏导数赋值为0求得w和b的值
多元线性回归
- 经常有X不是满秩或正定的情况,此时可以考虑正则化
广义线性模型
- 例如
3.3 对数几率回归
- 考虑二分类任务,可以通过“单位阶跃函数”将实值与分类标签联系起来
- 但是由于“单位阶跃函数”不连续,所以不能直接用于,因此可以用对数几率函数(logistic function)来替代:
- 对数几率函数是一种Sigmoid函数(即形似S的函数),且是其中最重要的代表。
- 将对数几率函数作为可得
,进一步可得
,可以将y和1-y分别看做是正例和负例的可能性
3.4 线性判别分析
- 思路:将训练样例投影到一条直线上,使得同类样本尽可能近,不同样本之间尽可能远。
4.1 决策树
4.2 划分选择
- 信息增益
“信息熵”(information entropy)是度量样本集合纯度最常用的一种指标。假定当前样本集合D中第k类样本所占的比例为,则D的信息熵定义为:
假定离散属性a有V个可能的取值,则属性a对样本集D进行划分所获得的“信息增益”(information gain)为: