2017.02.24回顾 logistic 1 -1 定义

1、去学习了一下，用1和-1编码的logistic regression的损失函数，gbdt论文中提到的损失函数，是单个样本点的，其次要令y* = 2y - 1把0,1映射到-1,1，定义p的时候多一个2倍，即

p = 1/(1+exp(-2f))，把这两部分带入log似然函数就可以得到-1,1定义下的损失函数，log(1+exp(-2yf))，其实推导过程我是没看懂的，这个y我不知道是怎么拿进去的，感觉就是眼睛看的，观察说，可以把y提进去就写成了一种简单的表达，参考https://www.zhihu.com/question/38777817。另外我还研究了logistic回归当y编码为1,-1时，对于W的值是没影响，可以推导损失函数的梯度获知，影响W值的就是加不加这个2倍，损失函数梯度推导，相当于y只是一个常量，做一个变换带进去，损失函数形式上有变化，但实质不会变的。但有一个问题我不明白，-1，1这种编码如果是写损失函数的时候很简洁优雅（可以把y拿进去，一种加法的写法变成了乘法），那为什么定义p的时候要加个2倍呢？这个我不是很明白

2、期望是总体的，平均值是样本的、实际的

3、下午很多时间是在咨询户口的事情上，最后搞懂了损失函数的定义，开始理解gbdt论文中算法步骤