机器学习之线性模型基础
appron
这个作者很懒,什么都没留下…
展开
-
机器学习之对数几率回归理解
对数几率回归不是回归,是分类。1.对数几率回归的形式 由线性回归的y=WX转化为 y_pre=sigmoid(WX)即是对数几率回归2.对数几率回归的名字来由(对数几率优化的本质): 2.1由于上述1中的优化目标是希望预测y_pre=即sigmoid(WX)尽可能等于分类标记y 2.2由sigmoid函数可以得到,即希望WX尽可能等于ln(y/(1-y))。 ...原创 2019-11-25 21:58:53 · 1442 阅读 · 0 评论 -
机器学习之线性模型的训练trick
1.正则化 正则化可以使模型有偏好,如在损失函数Loss=loss(y_pre,y)上加入alpha倍的|W|,可以使用优化目标变为Loss=loss(y_pre,y)+alpha*|W|,这样得到的参数偏向于较小。2.非线性的值处理:如果预测目标值变化尺度是指数的,如预测目标值较小的样本集中,而预测目标值较大的值较分散,可以将预测目标值进行变换,使y_new=lg(y), 或者对预测值进...原创 2019-11-25 21:28:05 · 180 阅读 · 0 评论 -
机器学习之线性模型的训练过程
线性模型的训练过程1.初始化模型 包括初始化 模型参数W 和 b,使得对任意X可以通过 y=WX+b得到y的结果。2.准备好数据集,即用于训练的X和Y3.开始训练 3.1向前传播 计算y_pre=WX+b 3.2计算误差(或称损失) 计算Loss=loss(y_pre,y) 其中loss可以是mae、mse(常称为最小二乘法,或均方误差、平方2损...原创 2019-11-25 20:43:12 · 896 阅读 · 0 评论