机器学习
是DRR啊
一个小白
展开
-
机器学习-决策树(ID3、C4.5)
机器学习-决策树(ID3、C4.5)概述画法剪枝决策树的优缺点ID3算法纯度信息熵信息增益C4.5 算法信息增益率悲观剪枝离散化处理连续属性处理缺失值小结概述决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,...原创 2019-10-05 22:25:40 · 1141 阅读 · 0 评论 -
机器学习-支持向量机(SVM)
机器学习-支持向量机(SVM)概述理论线性分类损失函数核方法标准算法线性SVM(linear SVM)1. 硬边距(hard margin)2. 软边距(soft margin)非线性SVM(nonlinear SVM)数值求解1. 内点法(Interior Point Method, IPM)2. 序列最小优化(Sequential Minimal Optimization, SMO)3. 随机...原创 2019-10-05 23:29:38 · 2018 阅读 · 0 评论 -
机器学习-朴素贝叶斯分类器
机器学习-朴素贝叶斯分类器概述定义贝叶斯方法朴素贝叶斯算法算法原理优缺点优点缺点应用文本分类其他概述朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论,有着坚实的数学基础,以及稳定的分类效率。同时,NBC模型所需估计的参数很少,对缺失数据不太敏感,算法简单。理论上,NBC模型与其他分类方法相...转载 2019-10-06 20:55:35 · 1526 阅读 · 0 评论 -
机器学习-线性回归
机器学习-线性回归概述损失函数线性回归模型求解线性回归模型的特点概述线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w’x+e,e为误差服从均值为0的正态分布。回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量...原创 2019-10-06 21:44:20 · 253 阅读 · 0 评论 -
机器学习-逻辑回归
机器学习-逻辑回归分类和回归任务的区别逻辑回归不是回归用回归的方法解决分类问题判别函数选定阈值最大似然估计求解交叉熵损失函数总结分类和回归任务的区别我们可以按照任务的种类,将任务分为回归任务和分类任务.那这两者的区别是什么呢?按照较官方些的说法,输入变量与输出变量均为连续变量的预测问题是回归问题,输出变量为有限个离散变量的预测问题成为分类问题.通俗一点讲,我们要预测的结果是一个数,比如要通...转载 2019-10-06 22:28:16 · 406 阅读 · 0 评论 -
机器学习-随机森林
机器学习-随机森林随机森林的定义随机森林的特点随机森林的生成1)每棵树随机抽取训练样本为什么要随机抽样训练集?为什么要有放回地抽样?2)每棵树随机选择训练特征3)每棵树都尽最大程度的生长,并且没有剪枝过程。随机森林分类效果(错误率)与两个因素有关:袋外错误率(oob error)随机森林的定义随机森林就是通过集成学习的思想将多棵树集成的一种算法,它的基本单元是决策树,而它的本质属于机器学习的一...原创 2019-10-08 16:25:03 · 707 阅读 · 0 评论 -
欠拟合和过拟合的一般解决方法
欠拟合和过拟合的一般解决方法欠拟合与过拟合解决欠拟合(高偏差)的方法1.模型复杂化2.增加更多的特征,使输入数据具有更强的表达能力3.调整参数和超参数4.增加训练数据往往没有用5.降低正则化约束解决过拟合(高方差)的方法1.增加训练数据数2.使用正则化约束3.减少特征数4.调整参数和超参数5.降低模型的复杂度6.使用Dropout7.提前结束训练欠拟合与过拟合欠拟合是指模型在训练集、验证集和测...原创 2019-10-08 16:39:41 · 3476 阅读 · 0 评论 -
L1与L2正则化
L1与L2正则化1. L2 正则化直观解释2. L1 正则化直观解释3. L1 与 L2 解的稀疏性4. 正则化参数 λ机器学习中,为了避免过拟合,最常用的一种方法是使用使用正则化,例如 L1 和 L2 正则化。1. L2 正则化直观解释L2 正则化公式非常简单,直接在原来的损失函数基础上加上权重参数的平方和:其中,Ein 是未包含正则化项的训练样本误差,λ 是正则化参数,可调。其物理意...转载 2019-10-08 16:56:31 · 401 阅读 · 0 评论