今天看《机器学习实战》里面的logistic回归篇,发现里面虽然内容不多,但是作者省略了很多过程,结果自己看得有点懵,后来查了一些资料,然后自己推了推公式,才有了豁然开朗的感觉。这里就记录一下自己的理解,也希望和大家一起分享。
Github: 梯度下降
数学部分
—————————————————————————————————————————————————————————————
1.目标描述
之前我们说过一个物体可以抽象成许多特征的集合,在这里我们用X表示物体:
其中表示特征,
表示每个特征的权重,用一个大家都在用的例子解释就是:
就好比房子的价格,而
就是影响房价的各个因素(房屋面积,房屋朝向,房屋所在地段等),同时
则是每个影响因素的权重,这些所有的影响因素(特征)共同决定了房价。
2.代价函数
既然我们已经确定了目标描述的方法,那么该取什么值,才能最好最贴切地描述物体本身呢?(一般房屋所在地段及房屋面积对房价影响较大,所以其对应的
就会大一些)
为了求解,我们需要
个样本(
),这里的
个样本是已经知道真实值的(即属于已经分好类的)