机器学习
机器学习相关知识
狂奔的菜鸡
知行合一,格物致知。
展开
-
回归问题的评价指标
回归问题的评价指标有很多,这里一一进行详细分类:点对点误差MSE均方误差 MSE(Mean Square Error): 均方误差描述了样本真实值与预测值差方求和的平均值,在机器学习中,利用均方误差最小化优化模型的方法称为“最小二乘法”RMSE RMSE(Root Mean Square Error)即对MSE开平方根:MAE平均原创 2020-11-11 17:36:43 · 2486 阅读 · 0 评论 -
L1和L2正则先验分别服从什么分布?
关于L1和L2正则化可以看我的另一篇文章一篇文章搞懂:岭回归和Lasso回归 首先回答这个问题:L1是拉普拉斯分布,L2是高斯分布。我们先来看看什么是拉普拉斯分布和高斯分布拉普拉斯分布 在概率论与统计学中,拉普拉斯分布是一种连续概率分布。由于它可以看作是两个不同位置的指数分布背靠背拼接在一起,所以它也叫作双指数分布。两个相互独立同概率分布指原创 2020-11-10 21:10:13 · 2090 阅读 · 1 评论 -
支持向量机之硬间隔(一步步推导,通俗易懂)
ML经典算法:支持向量机(1)中对支持向量机的理论知识进行了总结,这里再进行详细的数学梳理! 支持向量机随着任务的复杂度,主要有三部分知识:硬间隔、软间隔和核函数,这里先讲硬间隔!硬间隔(hard-margin) 硬间隔主要应用在可以完美线性分类的任务中,如下图所示,“x”和“o”表示两种类别,共mmm个样本:原创 2020-11-09 21:14:44 · 4807 阅读 · 0 评论 -
关于类别不平衡(理解与解决方法)
类别不平衡 (class-imbalance):指分类任务中不同类别的训练样例数目差别很大的情况。解决方式再缩放(改变分类决策规则) 举个例子,在二分类中如果在类别平衡的情况下,假设预测为1的概率为p,则预测为0的概率为1-p,则:p1−p>1{p \over 1-p}>11−pp>1时,类别为1,否则类别为0。若类别不平衡呢,假设数据集中,类别为1的数量为m1m^1m1原创 2020-10-19 18:35:46 · 1393 阅读 · 0 评论 -
交叉熵损失函数(CrossEntropy Loss)(原理详解)
监督学习主要分为两类:分类:目标变量是离散的,如判断一个西瓜是好瓜还是坏瓜,那么目标变量只能是1(好瓜),0(坏瓜)回归:目标变量是连续的,如预测西瓜的含糖率(0.00~1.00) 分类主要分为:二分类:如判断一个西瓜是好瓜还是坏瓜多分类:如判断一个西瓜的品种,如黑美人,特小凤,安农二号等 而交叉熵损失函数是分类中最常用的损失原创 2020-10-19 13:55:35 · 27136 阅读 · 2 评论 -
线性判别分析LDA:详解及数学原理
线性判别分析 (Linear Discriminant Analysis,简称 LDA)是一种经典的线性学习方法。并且LDA是一种监督学习的降维技术。思想: 给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、 异类样例 的投影点尽可能远离(有些像中心损失的思想)。 在对新样本进行分类时,将其投影到 同样的这条直线上原创 2020-10-08 15:11:30 · 1076 阅读 · 0 评论 -
线性模型:线性回归和逻辑回归
目录1. 基本形式2. 线性回归1. 基本形式 给定由 d 个属性描述的示例 x=(x1;x2;...;xd)x = (x_1; x_2;...; x_d)x=(x1;x2;...;xd) , 其中xix_ixi均是 a 在第 i个属性上的取值,线性模型 (linear model)试图学得一个通过属性的线性组合来进行预测的函数,即:一般用向量形式写成:ω 值的大小直观表达了各属性在预测中的重要性 &nbs原创 2020-10-08 10:43:34 · 581 阅读 · 0 评论 -
概率分类之朴素贝叶斯分类(垃圾邮件分类python实现)
目录什么是概率分类?朴素贝叶斯分类垃圾邮件分类什么是概率分类? 举个最简单的二分类例子:有两类(w1, w2),有样本 x ,现问:xv属于w1,还是w2? 即求:p(w1 / x)与p(w2 / x),若p(w1 / x)> p(w2 / x)则 x 属于 w1;若p(w1 / x)< p(w2 / x)则 x 属于 w2。这就是利用概率进行分类! &nb原创 2020-10-05 21:14:45 · 1570 阅读 · 1 评论 -
一篇文章搞懂:岭回归和Lasso回归
目录岭回归 岭回归和Lasso回归: 给定数据集 D=(x1,y1),(x2,y2),…,(xm,ym)D = {(x_1 , y_1), (x_2 , y_2) ,… , (x_m , y_m)}D=(x1,y1),(x2,y2),…,(xm,ym),其中x∈Rdx\in R^{d}x∈Rd, y∈Ry\in Ry∈R,我们考虑最简单的线性回归模型,以平方误差为损失函数,则优化目标原创 2020-09-22 18:54:44 · 9820 阅读 · 2 评论 -
机器学习中“模型误差”的总结
在机器学习中,模型误差 = 偏差(Bias)+ 方差(Variance)+ 数据本身的误差。数据本身的误差即噪声:表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界,即刻画了学习问题本身的难度。噪声是怎么产生的呢? 可能由于记录过程中的一些不确定性因素等导致,或者抽样的时候会出现一些搞错的信息,是无法避免的!能做的只有不断优化模型参数来权衡偏差和方差,使得模型误差尽可能降到最低。因此原创 2020-09-22 16:23:27 · 3086 阅读 · 0 评论 -
梯度下降(gradient descent)总结与比较
梯度下降法作为机器学习中较常使用的优化算法,其有着三种不同的形式:批量梯度下降(Batch Gradient Descent)、随机梯度下降(Stochastic Gradient Descent)以及小批量梯度下降(Mini-Batch Gradient Descent)。批梯度下降: 每一次迭代时使用所有样本来进行梯度的更新。 计算量原创 2020-09-14 12:29:12 · 341 阅读 · 0 评论 -
机器学习:性能度量(详解)
目录简介分类错误率与精度查准率、查全率与 FlROC 与 AUC代价敏感错误率与代价曲线简介 性能度量: 衡量模型泛化能力的评价标准(反映了任务需求,在对比不同模型的能力时,使用不同的性能度量往往会导致不同的评判结果。模型的好坏,不仅取决于算法和数据,还决定于任务需求。) 性能度量主要分为分类任务中的和回归任务中的。分类错误率与精度原创 2020-09-12 13:54:01 · 2616 阅读 · 0 评论 -
集成学习((ensemble learning)
目录1. 简介2. Boosting2.1 AdaBoost1. 简介 集成学习 (ensemble learning)通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统 (multi-classifier system) 、基于委员会的学习 (committee-based learning) 等。 个体学习器通常由一个现有的学习算法从训练数据产生:同质集成: 集成中只包含同原创 2020-09-06 14:05:49 · 850 阅读 · 0 评论 -
K近邻算法(KNN)
k 近邻 (k-Nearest Neighbor,简称 kNN )学习是一种常用的监督学习方法。属于懒惰学习。工作机制: 给定测试样本,基于某种距离度量找出训练集中与其最靠近的 k 个训练样本,然后基于这 k 个"邻居 "的信息来进行预测 。分类任务:投票法回归问题:平均法 还可基于距离远近进行加权平均或加权投票,距离越近的样本权重越原创 2020-09-05 20:27:47 · 400 阅读 · 0 评论 -
特征学习算法
类似于机器学习,特征学习可以被分为两类:监督式特征学习(Supervised Representation Learning)和无监督式特征学习(Unsupervised Representation Learning)。监督式特征学习被标记过的数据被当做特征用来学习。例如神经网络(Neural Networks),多层感知器(Multi-Layer Perception),监督字典学习(Supervised Dictionary Learni原创 2020-09-05 19:49:45 · 2076 阅读 · 0 评论 -
ML经典算法:支持向量机(1)
目录1. 简介2. 对偶问题3. 核函数3.1 核函数的一些定理1. 简介支持向量: 下图为训练样本集 D = {(Xl ,Yl) , (X2,Y2) ,. . ., (Xm,Ym)}, Yi ε{-1,十1}在坐标系中的分布,粗线为划分超平面:wTx十b=0w^{T}x 十 b=0wTx十b=0 将不同类别的样本分开 则有 距离超原创 2020-08-26 18:08:11 · 312 阅读 · 0 评论 -
ML经典算法:决策树(3)剪枝处理
目录1. 简介2. 预剪枝3. 后剪枝1. 简介 剪枝 (pruning):决策树学习算法对付"过拟合"的主要手段 过拟合原因:为了尽可能正确分类训练样本,结点划分过程将不断重复,有时会造成决策树分支过多,这时就可能因训练样本学得"太好"了,以致于把训练集自身的一些特点当作所有数据都具有的一般性质而导致过拟合。 基本策略:预剪枝:在决策原创 2020-08-23 17:36:26 · 794 阅读 · 0 评论 -
ML经典算法:神经网络(1)
目录1. 神经元2. 感知机与多层网络2.1感知机2.2 多层网络3. 误差逆传播算法 机器学习中谈论神经网络时指 的是"神经网络学 习 " 或者说,是机器学习与神经网络这两个学科领域的交叉部分 。1. 神经元 神经网络 (neural networks)是由具有适应性的简单单元组成...原创 2020-05-05 21:53:24 · 1084 阅读 · 0 评论 -
ML经典算法:决策树(2)
目录1. ID3算法在前面ML经典算法:决策树(1)中描述了什么是决策树算法,以及介绍了三种不同的属性划分方法。不仅要知道理论,还要实践,下面对这三种划分方法进行python实现。1. ID3算法...原创 2020-05-05 13:54:06 · 412 阅读 · 0 评论 -
ML经典算法:决策树(1)
目录1. 简介2. 划分选择2.1 信息增益(决策树ID3算法)2.2 增益率(C4.5 决策树算法 )2.3 基尼指数(CART 决策树算法) 决策树 (decision tree ,或称判定树)是一类常见的机器学习方法,其核心思想是通过构建一个树状模型来对新样本进行预测。树的叶结点是预测结果,而所有非叶结点皆是一个决策过程。1. 简介...原创 2020-04-27 09:28:35 · 366 阅读 · 0 评论 -
搞懂过拟合和欠拟合(原因及解决方法)
目录1. 简介1.1定义1.2 举例1.2.1 回归算法中1.2.2 分类问题中2. 解决方法2.1 原因2.2 解决方法 在监督学习中,例如回归和分类,通常有两种情况下生成的模型不能很好地拟合数据:过拟合(overfitting)和欠拟合(underfitting)。1. 简介1.1定义要很好的理解过拟合和欠拟合,就必须先理解什么...原创 2020-04-26 10:10:52 · 6185 阅读 · 0 评论 -
监督学习和无监督学习
目录1. 监督学习1. 回归2. 分类2. 无监督学习1. 监督学习定义:监督学习(supervised learning)指利用一组已知类别的样本调整分类器的参数,使其达到所要求性能的过程,也称为监督训练或有教师学习。 监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中,每个实例都是由一...原创 2020-04-25 22:56:26 · 681 阅读 · 0 评论