机器学习
方tongxue
Github账号:https://github.com/fangchao1086
展开
-
评估指标
ROC横轴FPR:1-TNR,1-Specificity,FPR越大,预测正类中实际负类越多。纵轴TPR:Sensitivity(正类覆盖率),TPR越大,预测正类中实际正类越多。理想目标:TPR=1,FPR=0,即图中(0,1)点,故ROC曲线越靠拢(0,1)点,越偏离45度对角线越好,Sensitivity、Specificity越大效果越好。画ROC:假设已经得出一系列样本被划分...原创 2019-12-10 16:44:15 · 297 阅读 · 0 评论 -
机器学习的集成学习方法
集成学习的集成对象是学习器Bagging:有放回地采样同数量部分样本训练每个学习器,再一起集成(简单投票)学习器间不存在强依赖关系, 学习器可并行训练生成, 集成方式一般为投票;Random Forest属于Bagging的代表, 放回抽样, 每个学习器随机选择部分特征去优化;Boosting:使用全部样本(可调权重)依次训练每个学习器, 迭代集成(平滑加权)学习器之间存在强依赖关...原创 2019-02-27 15:24:25 · 310 阅读 · 0 评论 -
损失函数
log对数损失(逻辑回归)平方损失(线性回归)机器学习中提到的线性一般指,因变量y是参数aa的线性函数;指数损失函数(adaboost)Hinge损失函数(SVM)可以看出,当|y|>=1时,L(y)=0其它损失函数:如0-1损失,绝对值损失等各种损失函数的可视化图像:...原创 2019-02-28 22:47:29 · 187 阅读 · 0 评论 -
XGBoost原理
基本概念符号含义Rd特征数目为d的数据集xi∈Rdx_i \in R_dxi∈Rd第iii个样本ωj\omega _jωj第jjj个特征的权重yi^\hat{y_i}yi^xix_ixi的预测值yiy_iyi第iii个训练集对应的标签Θ\ThetaΘ特征权重的集合Θ={ωj=∣j=1,..,d}\Theta=\{\om...原创 2019-02-16 22:44:37 · 121 阅读 · 0 评论 -
支持向量机SVM
二分类模型,学习策略为间隔最大化  logistic回归hθ(x)=g(θTx)=11+e−θTxh_\theta(x)=g(\theta^Tx)=\frac 1 {1+e^{-\theta^{Tx}}}hθ(x)=g(θTx)=1+e−θTx1自变量(θTx\theta^TxθTx)的取值为正负无穷,将其使用logstic回归函数进行映射到(0,1),映射后的值...原创 2019-02-25 20:42:04 · 150 阅读 · 0 评论 -
贝叶斯定理
事件A在事件B已经发生的情况下的发生概率为:联合概率:两个事件共同发生的概率,A与B的联合概率可以表示为P(A∩B)P(A\cap B)P(A∩B)或者P(A,B)P(A,B)P(A,B)A的先验P(A)P(A)P(A):事件B发生以前,对事件A发生有一个基本的概率判断;A的后验P(A∣B)P(A\vert B)P(A∣B):事件B发生以后,对事件A发生概率的重新评估B的先验P(B)P...原创 2019-02-26 14:52:29 · 243 阅读 · 0 评论 -
优化方法
牛顿法与梯度下降法牛顿法优点:二阶收敛,收敛速度快缺点:是一种迭代算法,每一步都需要求解目标函数的Hessian矩阵的逆矩阵,计算比较复杂。...原创 2019-02-26 14:34:31 · 374 阅读 · 0 评论 -
各种算法对比以及各自的优缺点
贝叶斯分类法优点:1)所需估计的参数少,对于缺失数据不敏感。2)有着坚实的数学基础,以及稳定的分类效率。缺点:1)假设属性之间相互独立,这往往并不成立。(喜欢吃番茄、鸡蛋,却不喜欢吃番茄炒蛋)。2)需要知道先验概率。3)分类决策存在错误率。决策树 优点:1)不需要任何领域知识或参数假设。2)适合高维数据。3)简单易于理解。4)短时间内处理大量数据,得到可行且效果较好的结果...原创 2019-03-07 16:58:29 · 7600 阅读 · 1 评论 -
机器学习英文关键词的实际意义
BN:批标准化BGD:批量梯度下降 SGD:随机梯度下降原创 2019-06-11 09:21:00 · 217 阅读 · 0 评论