![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 92
蓝子娃娃
越努力,越幸运!!!
展开
-
多任务学习
多任务学习原创 2022-10-14 21:07:33 · 4762 阅读 · 0 评论 -
模糊C均值聚类算法
学习了一下模糊聚类中的模糊 C 均值聚类算法 (Fuzzy C-Means Clustering)。 Fuzzy 意为模糊,其中包括几种模糊的方式,这里使用的是最简单的方式,它是基于概率的概念。我们把每一个点属于每一类的概率值求出,它属于哪一类别的概率最大,我们就将其归于哪一类。 这里的 C 其实对应于 K-means 中的 K。其中,K-means 中的 K 决定类别数。同样的,C 也是决定类别数。 首先我们介绍该算法的目标函数。 当分类时,我们希望类内距离要越小越好(越集中越好),类原创 2021-08-27 20:04:39 · 3623 阅读 · 3 评论 -
逻辑回归推导
逻辑回归原理就不赘述了,可以直接看 逻辑回归。 如果我们忽略二分类问题中 yyy 的取值是一个离散的取值(0 或 1),我们继续使用线性回归来预测 yyy 的取值。这样做会导致y的取值并不为 0 或 1。逻辑回归使用一个函数来归一化 yyy 值,使 yyy 的取值在区间 (0,1) 内,这个函数称为 Logistic 函数(logistic function),也称为 Sigmoid 函数(sigmoid function)。函数公式如下:g(z)=1+e−z1g(z) = \frac{1+e^{原创 2021-07-28 22:24:08 · 241 阅读 · 0 评论 -
95-Boosting
Boosting 另外一类集成学习的思路就是 Boosting(增强),它学习的思路就是集成多个模型,但是模型之间不是独立的关系,而是一个相互增强的关系,即每个模型都在尝试增强(Boosting) 整体的效果。 下面就举出 Boosting 中最典型的一个例子 Ada Boosting 为例,它是这样一个思路。以一个简单的回归问题为例,下图描述的是首先我们有原始数据集,然后经过某一种机器学习算法的学习,然后会得到一个结果。 很显然每一种机器学习算法都会犯错误,然后就得到了图(3)的结果,原创 2020-10-24 15:19:10 · 126 阅读 · 1 评论 -
94-随机森林
随机森林 之前我们使用 Bagging 这种集成学习方法所使用的基础的分类器都是决策树。那么整个集成学习相当于集成了成百上千个决策树,这样的一个集成学习的模型就叫做随机森林。而且 sklearn 还为我们封装了一个随机森林的类,我们可以使用这个类直接非常容易的来创建一个随机森林这样一个学习模型。与此同时,sklearn 提供的随机森林的模型还提供了更多的随机性。对于每一棵决策树都是在节点上寻找一个最好的维度以及一个阈值进行划分,sklearn 封装的随机森林在训练每一棵决策树的时候默认就是在每一个原创 2020-10-24 14:34:04 · 208 阅读 · 0 评论 -
93-更多关于Bagging的讨论
更多关于Bagging的讨论 上一篇博客介绍了 Bagging 这种集成学习的思路,也就是我们不使用不同的算法进行集成学习了,而使用同一种算法来学习,但是对于同一种算法,我们让它看不同的数据,在我们整体样本空间中,这种放回的取样使得每一个子模型之间都存在差异性。这一篇博客我们来看更多和 Bagging 相关的讨论。 对于 Bagging 来说,有一个非常重要的概念就是 OOB(Out-Of-Bag)。那什么是 OOB 呢?它背后的原理是这样的,我们做放回取样的话,可能就会导致一部分样本很有可能原创 2020-10-24 13:30:39 · 224 阅读 · 0 评论 -
92-Bagging和Pasting
Bagging 和 Pasting 之前介绍了什么是集成学习,其实就是集成多个算法对同一组数据进行分析得到结果,最终投票来看哪个结果是大家公认的最好的结果。但是这样的机器学习还是有一个问题,虽然有很多机器学习的方法,但是从投票的角度来看,仍然是不够多的。如果我们想要尽量保证一个好的结果的话,我们希望有更多的投票者(成百上千甚至上万)才能保证最终的结果更加的可信。所以我们就要创建更多的子模型,集成更多的子模型的意见,而且子模型之间不能一致,要具有差异性。 那么怎样才能创建出更多的子模型,而原创 2020-10-24 12:56:16 · 342 阅读 · 0 评论 -
91-SoftVoting Classifier
Soft Voting Classifier 上一篇博客我们看到对于集成学习来说,我们可以使用少数服从多数的方式集成多个模型算法进行处理,那么在这个过程中,我们接触到了一个概念,这种少数服从多数的投票的方式,叫做 Hard Voting。相应的其实还有一种更重要的方式:Soft Voting。 其实 Soft Voting 的思想也很简单。就是在很多情况下,少数服从多数其实不是最合理的。其实更合理的投票应该是对于不同的人来说是有权值的。那么最典型的例子就是网上有很多唱歌比赛的投票,专业的音乐评审他原创 2020-10-24 10:06:54 · 257 阅读 · 0 评论 -
90-什么是集成学习
什么是集成学习 我又要开始学习一种非常重要的机器学习算法:集成学习。那么什么是集成学习呢? 之前有一部动画片叫做新世纪福音战士(EVA),里面有一个超级电脑 MAGI,这个超级电脑本身还有另外一个名字叫做三贤者。为什么叫做三贤者呢?这个超级电脑的作用就是在遇到重大选择的时候,这个电脑来给出具体的决策。但是它给出具体决策的方法是这样的:整个电脑有 3 个核心,可以理解成 3 个大脑。三个大脑是基于这个电脑的创作者,她是一位女性,她拥有三种不同的身份,分别是母亲,科学家和女性。它是通过三种不同的原创 2020-10-24 09:05:08 · 160 阅读 · 0 评论 -
86-决策树的局限性
决策树的局限性 这篇博客主要讨论决策树这种非参数的学习算法的局限性。 我们的第一个例子中,看到鸢尾花数据集的分类结果时,会看到决策边界都是横平竖直的,那么反映在二维图像上决策边界一定是和 xxx 轴或者 yyy 轴平行的。 因为对于决策树来说,每一次都是在某个维度上选某一个阈值进行划分,小于这个阈值进入一颗子树,大于这个阈值进入另一颗子树。所以这个决策边界对于这个二维平面来说,一定就是 xxx 等于某一个值或者 yyy 等于某一个值这样的函数,这样的函数显然是和坐标轴是平行的原创 2020-10-23 20:02:50 · 783 阅读 · 0 评论 -
85-决策树解决回归问题
决策树解决回归问题 之前都是使用决策树来解决分类的问题,其实决策树思想可以非常容易的解决回归问题。当我们使用 CART 将这颗决策树建立出来之后,相应的在每一个叶子节点其实都包含了若干个数据,如果这些数据输出值是类别的话,那么它就是一个分类问题;如果输出值是一个具体的数值的话,那么它就是一个回归问题。 下面我们就来看看 sklearn 封装的决策树是怎样解决回归问题的。 说到过拟合,我们回忆一下之前学习的直观的看到过拟合和欠拟合的情况就是学习曲线。原创 2020-10-23 19:17:16 · 1690 阅读 · 0 评论 -
84-CART与决策树中的超参数
CART与决策树中的超参数 我们之前学习的决策树通常还有一个名字,叫做 CART(Classification And Regression Tree)。这样的决策树如名称所说的,既可以解决分类问题,也可以解决回归问题。也是根据某一个维度 ddd 和某一个阈值 vvv 进行二分,那么这样得到的决策树一定是一颗二叉树。sklearn 中实现的决策树都是 CART。 当我们建立好一颗决策树,平均而言,它做预测的时间复杂度为 O(logm)O(logm)O(logm),mmm 为样本个数。可以原创 2020-10-23 16:48:19 · 931 阅读 · 0 评论 -
83-基尼系数
基尼系数 上一篇博客主要使用信息熵这样的方式对决策树每一个节点上相应的数据进行一个划分,然后一点一点构建出一颗决策树来。其实我们还可以使用另外一个指标对我们的决策树每个节点的数据进行划分,这个指标就是基尼系数。 基尼系数的计算比信息熵简单很多,公式如下: 我们还是使用几个小例子观察求出来的结果是怎样的。 如果数据分成三类,每类所占比例均是 1/3,那么基尼系数为: 同样数据分成三类,所占比例为 1/10,2/10,7/10,那么基尼系数为: 对比这原创 2020-10-23 16:00:04 · 826 阅读 · 0 评论 -
82-使用信息熵寻找最优划分
使用信息熵寻找最优划分 上一篇博客介绍了信息熵这样的指标,通过信息熵,我们可以知道当前数据的不确定度是怎样的,进而知道了对于我们的决策树来说,在根节点的时候(其实根节点就相当于拥有了全部的数据),我们要找到一个维度,一个阈值对根节点进行划分,划分之后,我们希望我们的数据整体信息熵是越来越低的,进而对划分出来的两个节点我们可以再用同样的方式去寻找特定的维度和阈值进行划分,使得整体的信息熵继续减小,以此类推,就形成了决策树。 下面我们就模拟使用信息熵进行划分的方式。 我原创 2020-10-23 14:56:11 · 415 阅读 · 0 评论 -
81-信息熵
信息熵 上一篇博客介绍了决策树到底是什么样子的算法,我们是怎样通过决策树来进行分类的。那我们在具体构造决策树的时候,存在一个问题,就是在决策树的每一个结点上,其实它都是一个判断条件,那么我们为了得到这个判断条件,我们需要知道两个信息,一个是我们要在这个节点的哪个维度做划分(选择 xxx 还是 yyy)?如果确定了维度的话,那么具体在这个维度的哪个值上做划分(为什么是 2.4?为什么是 1.8)? 这里就先介绍一种方式,就是计算信息熵。信息熵是信息论的一个基础概念。熵在信息论中代表随机变量不确原创 2020-10-23 07:32:30 · 629 阅读 · 0 评论 -
80-什么是决策树
什么是决策树? 我们又要开始学习一种新的机器学习算法:决策树。那什么是决策树呢? 下面我用一个简单的例子,比如某公司想招聘一个算法工程师,那么在招聘的过程中很有可能采用这样一个流程。 这样的一个过程形成了一棵树的结构。在这棵树所有的叶子节点的位置其实就是我们最终做出的决策,这个决策可以理解成是对这个应聘者的信息进行分类,分成录用或者考察这两类。那么这样的一个过程就叫做决策树。 那么对于这样一颗决策树来说,它有计算机领域所说的树结构所有的性质,包括节点,树的深度。比如上面例子中树的深度原创 2020-10-22 19:53:58 · 261 阅读 · 0 评论 -
78-SVM思想解决回归问题
SVM思想解决回归问题 先回忆一下回归问题的本质其实就是找到一条直线或曲线能够最佳程度的拟合数据点,在这里怎么定义拟合,就是不同回归算法的关键。比如之前学习的线性回归算法定义拟合的方式就是让我们的数据点到我们预测的这条直线相应的 MSE 的值最小。 而对于 SVM 这个算法的思路来说,对拟合的定义是这样的。我们要指定一个 margin 值,我们期望在 margin 范围里样本数据点越多越好。 如果在 margin 范围里,数据样本点越多,意味着这个范围能够比较好的表达样本数据点。在这种情原创 2020-10-22 18:53:19 · 752 阅读 · 0 评论 -
77-sklearn中的高斯核函数
sklearn中的高斯核函数 这篇博客主要应用 sklearn 中封装的高斯核函数进行具体的分类。 我们还是先来看看高斯核函数里面 γγγ 的意思。之前我们说过高斯核函数与正态分布的式子很类似: 高斯函数中,其中 μμμ 表示均值,σσσ 代表标准差,其中 μμμ 决定了整个函数中心轴的位置,σσσ 是描述样本数据分布的情况,σσσ 越小,整个状态分布就会越窄越集中;σσσ 越大,整个正态分布就会越平缓,会显得越胖。具体可以见下图。 以上就是在高斯函数中 σσσ 对整个高斯函原创 2020-10-22 16:43:34 · 1982 阅读 · 0 评论 -
76-高斯核函数
上一篇博客详细的介绍了什么是核函数,并且主要以多项式核函数为例。这篇博客主要学习一种特殊的核函数,而且它也是 SVM 算法使用最多的一种核函数:高斯核函数。核函数我们通常表示成:那么对于高斯核函数来说,定义方式如下:其中只有一个超参数 γγγ。那么为什么这样的一个核函数要称做高斯核函数呢?相信很多小伙伴都听过正态分布,其实正态分布就是一个高斯函数。其实我们仔细观察高斯核函数与正态分布之间形式大体是一致的。高斯核函数有时候又被称做 RBF核(Radial Basis Function Ke原创 2020-10-22 13:57:40 · 9157 阅读 · 1 评论 -
75-什么是核函数
什么是核函数 在 SVM 算法中有一个很重要的概念叫做核函数(Kernel Function)。那什么是核函数呢?这篇博客将以多项式核为例向大家介绍 SVM 中核函数到底是什么? 对于 SVM 的本质,其实就是求解下面这样一个最优化问题: 但是在求解这个最优化的问题中,我们还是需要将这个问题进行变形,变成一个在数学上更好解的问题: 这个式子看起来非常的复杂,这里略去推导过程。在上面这个式子中有非常重要的一项: 换句话说,这一项意味着对于样本数据集中的任意两个向量都原创 2020-10-22 10:46:57 · 1214 阅读 · 0 评论 -
74-SVM中使用多项式特征
SVM中使用多项式特征 之前使用 SVM 的思路来处理分类问题都是使用线性分类的方式,那么这篇博客主要学习使用 SVM 来处理非线性的数据这样的一个问题。 我们处理非线性的数据一个最典型的方法就是使用多项式的方式来扩充我们原本数据,制造新的多项式特征。我们首先实践一下这个思路。 那么至于这个 kernel(核函数) 在 SVM 算法中到底是怎样计算的?我们在下一篇博客中介绍。 具体代码见 74 SVM使用多项式特征.ipynb...原创 2020-10-22 09:43:36 · 303 阅读 · 0 评论 -
73-sklearn中的SVM
sklearn中的SVM 这篇博客主要具体使用 sklearn 封装的 SVM 算法。在写代码之前,还想要强调一点,和 kNN 一样,要做数据标准化处理!因为之前学习的 SVM 思想中,它是涉及到距离的,如果计算距离是它们的量纲不同的话,那么最后得出的结果是有问题的。 具体代码见 73 sklearn中的SVM.ipynb...原创 2020-10-22 09:10:55 · 145 阅读 · 1 评论 -
72-Soft Margin和SVM的正则化
Soft Margin和SVM的正则化 上一篇博客介绍了 Hard Margin SVM,这篇博客主要介绍怎样在 Hard Margin SVM 改进为 Soft Margin SVM。 下面来看看什么是 Soft Margin SVM? 对于 Hard Margin SVM,其实是求解这样一个有条件的最优化问题。 但是之前的例子存在一个问题,如果有一个蓝色的点靠近红色点的区域,对于 Hard Margin SVM 来说,首先它要保证能够正确的分出这两类。 那么在这种情原创 2020-10-22 08:15:12 · 495 阅读 · 0 评论 -
71-Hard Margin SVM
Hard Margin SVM 我们在上一篇博客中介绍了 SVM 的本质就是要最大化 margin. 接下来我们看一下 margin 具体的数学表达式是怎样的?对于这两个支撑向量所决定的两条直线与最终得到的最优决策边界之间都有一个距离 ddd,那么 margin = 2d。换句话说,SVM 要最大化 margin 的话,也就是要最大化 ddd,所以我们只要找到 ddd 的表达式,也就相应的找到了 margin 的表达式。下面我们看一下怎么找到 ddd 的表达式。 我们先来回忆一下点原创 2020-10-21 22:30:13 · 388 阅读 · 1 评论 -
70-什么是支撑向量机(SVM)
支撑向量机(SVM) 我们将开始学习一种新的机器学习算法:支撑向量机(SVM)。 那什么是支撑向量机呢?它的英文是 Support Vector Machine。其实我们使用支撑向量机的思想既可以解决分类问题,也可以解决回归问题。我们首先会学习使用支撑向量机解决分类问题,之后会学习使用支撑向量机来解决回归问题。 我们先来看看支撑向量机的思想到底是怎样的?下面是一个二维的特征平面,所有的样本点分成了两类,逻辑回归就是在该平面中找到了一个决策边界,如果在决策边界的一侧,我们的算法就认为这些数据属于某原创 2020-10-21 17:06:18 · 793 阅读 · 0 评论 -
67-多分类问题中的混淆矩阵
多分类问题中的混淆矩阵 具体代码见 67 多分类问题中的混淆矩阵.ipynb原创 2020-10-21 15:39:19 · 533 阅读 · 0 评论 -
66-ROC曲线
上一篇博客介绍了 PR 曲线,这一篇博客介绍另一种曲线 ROC 曲线。ROC曲线 ROC(Receiver Operating Characteristic Curve),它其实是统计学上经常使用的一个术语,它描述的是 TPR 和 FPR 之间的关系。 那么我们首先来看看 TPR 和 FPR 这两个指标是什么意思? TRP,是 True Positive Result 的缩写。其实 TPR 和我们之前学的 RecallRecallRecall 是一个意思。 FPR 是 Fa原创 2020-10-21 14:58:39 · 230 阅读 · 0 评论 -
65-Precision-Recall曲线
这篇博客我将用可视化的方法更直观的看到精准率和召回率之间的关系。Precision-Recall曲线 最后对于 Precision-Recall 曲线整体是这样趋势的一条直线: 这条曲线随着 PrecisionPrecisionPrecision 的值的增大 RecallRecallRecall 值逐渐降低。假设我们有两个算法,对于同一个算法中我们用两组超参数来训练,那么每训练出一个模型就可以对应一个 Precision-Recall 曲线,如果另外一个算法得到的原创 2020-10-21 11:08:44 · 2344 阅读 · 0 评论 -
64-Precision-Recall的平衡
Precision-Recall的平衡 上一篇博客介绍了在有一些场景我们可能更注重精准率,有一些场景可能更注重召回率。还有一些情况下,我们可能并不是特别偏向精准率和召回率,此时我们希望两者越大越好,此时我们就可以用 F1F1F1 ScoreScoreScore 这样的指标来综合精准率和召回率这两个指标。那么我们怎么同时使这两者都特别的大呢?其实这样的目标有可能是实现不了的,因为精准率和召回率之间是互相矛盾的指标。如果想要精准率提高,召回率就会不可避免地下降;想要召回率提高,精准率就不可避免地下降。我们要原创 2020-10-21 09:35:04 · 526 阅读 · 0 评论 -
63-F1 Score
F1 Score 上一篇博客学习了精准率和召回率两个指标。当我们的数据极度偏斜的时候,使用这两个指标实际上是比使用准确度这个指标更好的。不过,这里有一个问题,这里有两个指标,它们之间可能会产生差异。比如有的时候算法的精准率高一些,召回率低一些;有的时候又相反。那么具体在使用的时候,我们怎么解读这个精准率和召回率呢? 其实还是要根据实际的应用场景来决定。对于有一些场景来说,我们更加注重精准率。比如,我们做一个机器学习的算法,这个机器学习的算法是进行股票的预测。那么我们有可能将股票预测这样的问题做成一个原创 2020-10-21 08:27:31 · 144 阅读 · 0 评论 -
62-实现混淆矩阵,精准率和召回率
实现混淆矩阵,精准率和召回率 下面我们就具体编程实现实现混淆矩阵,精准率和召回率。具体代码见 62 实现混淆矩阵,精准率和召回率.ipynb原创 2020-10-20 22:35:16 · 315 阅读 · 0 评论 -
61-精准率和召回率
精准率和召回率 上一篇博客介绍了混淆矩阵,它是在分类任务中非常重要的工具,我们通过混淆矩阵可以得到更加好的来衡量我们的分类算法好坏的指标。这一篇博客主要介绍两个通过混淆矩阵才可以得到的指标:精准率和召回率。 我们拿出上一篇博客中癌症预测的例子所得到的混淆矩阵: 那么精准率(precisionprecisionprecision),它的计算公式是: 那么我们将实际数据代入得到的精准率为: 所谓的精准率,就是预测数据为 1,相应预测对了的概率是多少。 为什么把这个值作为精准原创 2020-10-20 22:01:19 · 375 阅读 · 0 评论 -
60-准确度的陷阱和混淆矩阵
准确度的陷阱 我们评价算法的好坏,对于回归问题来说,我们提到过 MSEMSEMSE、RMSERMSERMSE 和 MAEMAEMAE,还有一个最好的评价回归算法的指标 RRR SquareSquareSquare。但是对于分类算法的评价,到现在为止,我们都一直在使用分类准确度这一个指标。是不是有些小伙伴会认为就使用这一个分类指标就算好了呢。其实分类准确度在评价分类算法的时候是有一个很重要的问题的,我们先来看看分类准确度有什么问题,进而衍生出对分类算法的评价问题。 下面就先来看看分类准确度到底有什么问原创 2020-10-20 21:07:04 · 1032 阅读 · 0 评论 -
56-OvR 和 OvO
前言 在前面系统学习了逻辑回归这种机器学习算法,它是使用回归的方式来解决分类问题。之前提到过,逻辑回归只可以解决二分类的问题,不过我们可以稍加改造,使得逻辑回归算法同样可以解决多分类问题。 其实这种改造方式不是只针对逻辑回归这一种方式,而是一种通用的对近乎所有的二分类算法都可使用这种方式让它们能够作用在多分类问题上。那么这种改造方式通常有两种:OvR 和 OvO。OvR(One vs Rest) 我们首先来看一下 OvROvROvR(One vs Rest),即 1 对剩余的所有,有些地方有原创 2020-10-20 17:09:16 · 650 阅读 · 0 评论 -
55-sklearn中的逻辑回归
sklearn中的逻辑回归 在上一篇博客中介绍了在逻辑回归中添加多项式项,使得生成相对不规则的决策边界,进而对于非线性的数据进行一个很好的分类。不过,既然引入了多项式项,我们的模型就会变得非常复杂,一不小心就会出现过拟合的情况。解决过拟合的问题,一个常规的手段就是之前学习的模型正则化的方式。 之前我们学习的模型正则化的方式,都是在损失函数 J(θ)J(θ)J(θ) 后面添加一个 L1L_1L1 正则项或者 L2L2L2 正则项,并在正则项前添加一个系数 ααα 维持 J(θ)J(θ)J(θ) 与正原创 2020-10-20 15:56:52 · 162 阅读 · 0 评论 -
54-在逻辑回归中使用多项式特征
在逻辑回归中使用多项式特征 之前学习的逻辑回归,其实本质上相当于是在特征平面中找到一条直线,用这条直线来分割所有的样本所对应的两个分类。通过之前的例子,也应该明白了为什么逻辑回归只能解决二分类问题。因为这样的一条直线只能将特征平面分成两部分。 不过,还存在一个问题,直线这种方式太简单了,显然有很多情况,比如下面这个例子,依然是在特征平面上分布了一些样本点,对于这些样本点来说,我们是不可能使用一条直线来将它们非常好的分成两类。 但是,我们可以用一个圆形这样的决策边界将它们分成两部分原创 2020-10-20 15:06:22 · 344 阅读 · 0 评论 -
53-决策边界
决策边界 上一篇博客我们实现了自己的逻辑回归算法,将鸢尾花这个数据集进行了很好的分类识别。当然,我们只选取了其中的两个类和两个特征。 对于 SigmoidSigmoidSigmoid 这个式子: 通过观察 SigmoidSigmoidSigmoid 函数可以得出一个结论, SigmoidSigmoidSigmoid 函数是以 t=0t = 0t=0 为分界点的。我们把这样一个结论带进下面的式子中: 在逻辑回归的式子 ppp 中,ttt 的值就相当于是 θT⋅xbθ^T·x_b原创 2020-10-20 13:38:03 · 470 阅读 · 0 评论 -
52-实现逻辑回归算法
实现逻辑回归算法 上一篇博客提出了逻辑回归的损失函数只能通过梯度下降法来求出,这里就不详细介绍具体的推导过程了,有兴趣的小伙伴可以自行查阅相关资料。这里我直接给出最后推导出的梯度的式子: 下面我们就具体编程实现逻辑回归。 具体代码见 52 实现逻辑回归.ipynb...原创 2020-10-20 09:11:27 · 205 阅读 · 0 评论 -
51-逻辑回归的损失函数
逻辑回归的损失函数 上一篇博客我们介绍了逻辑回归的大致框架,通过 SigmoidSigmoidSigmoid 函数得出了这个式子: 现在的问题就是我们怎么建模来求出 θθθ?逻辑回归和线性回归最大的区别就是逻辑回归解决的是分类问题,所以给出来的数据 yyy 要么是 1,要么是 0,而我们是根据估计出来的 ppp 来决定我们估计的 yyy 到底是 1 还是 0,那么它分成了两类。相应的,我们的损失函数也分成两类(下面的 yyy 是真值): 也就是给定的样本的真值为 1 的话,那么我们估计原创 2020-10-20 08:25:12 · 1008 阅读 · 0 评论 -
50-逻辑回归
前言 这一章节将学习一个全新的机器学习算法: 逻辑回归(Logistic Regression)。在学习什么是逻辑回归之前,值得一提的是,在2017年,著名的某人工智能竞赛网站进行了一个统计,统计中逻辑回归这个算法被排为在各个行业中(除了军事和安全领域)使用最多的一种机器学习算法,而且比第二名决策树高了不少。可见逻辑回归这种算法是非常有用的,虽然它本身并不难。那么在这里,希望学习机器学习的小伙伴重视逻辑回归的学习。 那么进入正题,我们首先来看什么是逻辑回归?逻辑回归(Logisti原创 2020-10-20 07:34:09 · 145 阅读 · 0 评论