ML15: 机器学习2

十、逻辑分类器

1.预测函数

g(z) = 1 / (1+e^-z)
z = t0 + t1x1 + t2x2 + … + tnxn
h(x1, …, xn) = 1 / (1+e^-(t0 + t1x1 + t2x2 + … + tnxn))
J(t0, …, tn) = sigma((h(x1, …, xn) - y)^2) / 2m
t0, …, tn ? -> J(t0, …, tn) min
若可证明K(t0, …, tn)和J(t0, …, tn)是同极函数，则可以通过使K函数取极值的模型参数(t0, …, tn)间接地表示使成本函数J取极小值的参数。
J(t)+r||t||(l1/l2(缺省))
||t||(l1)：t向量各元素绝对值之和
||t||(l2)：t向量各元素平方值之和
r||t||称为正则项，避免由于t向量过大造成模型过拟合，其中r称为正则强度，越大正则强度越高，对t的惩罚力度越大，反而反之。
代码：log1.py
多元分类：首先把问题转化为二元分类问题，即y=A是一个类别，y={B, C, D}作为另一个类别，然后计算这两个类别的概率，接着，把y=B作为一个类别，把y={A, C, D}作为另一个类别，在计算这两个类别的概率，以此类推，总共需要4个预测函数，选出其中概率最高的那个类别，作为未知类别样本的分类。
坐飞机 不坐飞机
坐火车 不坐火车
自驾 不自驾
A 1 0 0
B 0