![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计机器学习
asdasdasdasasd1111
这个作者很懒,什么都没留下…
展开
-
Logistic Regression 之 Sigmoid
逻辑回归(Logistic Regression, LR)模型也是一个二分类模型,属于广义线性模型,它还有个名字叫做二项逻辑斯蒂(谛)回归(不知为什么加个斯蒂(谛)),虽然叫XX回归,但却不属于回归模型。原创 2016-10-16 17:20:13 · 1418 阅读 · 0 评论 -
RF和GBDT和Xgboost的异同总结,加上lightgbm
相同点(照顾标题): 都用到了Bootstrap思想,Bootstrap是一种有放回的抽样方法思想不同点: 基类器: RF用的回归树或者分类树,GBDT和xgboost用的是CART(回归树) 分裂节点: RF:根据选择的树类型来选择是熵或者信息增益或GiNi指数; GBDT:在回归使用的是最小均方差,分类使用的是...原创 2018-07-01 20:43:38 · 931 阅读 · 0 评论 -
机器学习常见损失函数
0-1损失函数: 预测值不等于真实值,为1,否则为0对数损失函数(交叉熵): L(Y,P(Y|X))=−logP(Y|X)平方损失函数指数损失函数 L(Y|f(X))=exp[−yf(x)]Hinge损失函数 (SVM的损失函数) L(y)=max(0,1−ty) y是预测值,在-1到+1之间,t为目标值(-1或+1)。其含义为,y的值在-1和+1之间就可以了,并不鼓...原创 2018-07-01 21:11:13 · 265 阅读 · 0 评论 -
LR的并行化
并行LR的实现由逻辑回归问题的求解方法中可以看出,无论是梯度下降法、牛顿法、拟牛顿法,计算梯度都是其最基本的步骤,并且L-BFGS通过两步循环计算牛顿方向的方法,避免了计算海森矩阵。因此逻辑回归的并行化最主要的就是对目标函数梯度计算的并行化。可以看出,目标函数的梯度向量计算中只需要进行向量间的点乘和相加,可以很容易将每个迭代过程拆分成相互独立的计算步骤,由不同的节点进行独立计算,然后归并计算结果。...原创 2018-07-05 21:16:01 · 1250 阅读 · 0 评论