- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 机器学习的boosting思想
机器学习常用到booting思想，通过一步一步向目标迈进两种用此思想的向前分别算法：每次训练一棵树，用此棵数训练的结果调整下一棵树的输入1.adaboost加大错误case（input data）的权重进行下次训练最终模型的权重也会根据总体效果调整每棵的权重for m round for n trees 调整input 进行训练 ...
2019-08-16 10:58:55
680
原创 服务架构之redis缓存
redis kv缓存1.支持string list set zset hash2.ms3.序列化4.分布式锁setnx5.新特性stream6.push/pop7.存储格式redisObjectstring:int、raw或者embstrlist:ziplist或者linkedlisthash:ziplist或者hashtableset:intset...
2018-09-13 16:23:21
146
原创 温故而知新-3.svm
最大化1/||w2||，s.t.y(wx+b)>=1,i=0...n最小化||w2||1.拉格朗日乘子l(w,b,a)=1/2*||w2||-sum(ai*(yi*(wx+b)-1))2.kkt对各个变量求导，偏导为0的点w=sum(aiyixi)sum(aiyi)=0约束ai>=01-y(wx+b)<=0对偶问题max w(a)=sum(ai)-1/2*sum(aiajyiyj...
2018-03-08 15:38:31
162
原创 温故而知新-2.lr,神经网络，bgd,sgd
线性回归、逻辑回归、神经网络一般用梯度下降更新权值，原理基本一样，所以放到一起分类加上sign函数即可线性回归loss=1/2*pow(y-fx,2) ，如果数据正态发布，符合最大似然估计概率bgd:zetaj=zetaj+a/m*sum(y-h(x))*xj 收敛慢最小二乘：zeta=(xT*x)-1*xT*y x需要列满秩，矩阵逆难求逻辑回归牛顿法：?? bgd: fx=1/(1+exp(-...
2018-03-04 17:50:51
395
原创 温故而知新-1.决策树，剪枝，RF，adaboost，GBDT，XGBOOST
4年前开始学习机器学习，选择了最简单的决策树入门，在面试中却常常回答不好，还是太轻视它了。此次再此总结一下。本文是关键点笔记，不涉及推导决策树构建原理：1.选择划分属性值2.构建，并停止3.剪枝1.划分 delta=I(present)-sum(Nvj/N*I(vj)) 如果信息保留最多，划分最好选择基本公式： gini=1-sum(pi的平方) Entropy...
2018-03-03 18:20:09
718
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人