![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 90
机器学习相关知识分享
菜鸟炼丹师
于21年9月份接触编程,开始学习方法不得当,虽然学了很多大数据相关的知识,但由于不做笔记不整理,导致慢慢都遗忘,在接触机器学习、深度学习的过程中虽有了整理笔记的习惯,但仍然比较混乱,于是借复习机器学习的契机,开始将自己的所知、所感都整理成博客发表,以此来激励自己。
展开
-
【故事证明和概率公理】
首先因为2月29日出现的概率相对要低一些,因此我们排除2月29日,假设一年有365天,并且我们假设生日是每一天的概率是相同的。显然结果是出乎我们的“直觉的”原创 2022-07-19 20:58:28 · 271 阅读 · 0 评论 -
【模型评估】
二值分类器是最常见也是应用最广泛的分类器。它的评价指标有很多,前面有介绍,但这些指标或多或少只能反应模型在某一方面的性能。相比而言,ROC曲线则有很多优点,是二分类器最重要的指标之一。ROC曲线是ReceiverOperatingCharacteristicCurve的简称,直译为“受试者工作特征曲线”。ROC曲线的横坐标为假阳性率(FPR);FPR=FPN,TPR=TPPFPR=NFP,TPR=PTP其中PPP是真实正样本的数量di。...原创 2022-07-19 17:05:03 · 615 阅读 · 0 评论 -
【概率和计数】
如果我们熟悉了乘法规则,上述表格中的三种情况我们都可以轻松的填上,但对于。例如假设我们投掷2枚硬币,那么其可能的结果有{HH,HT,TH,TT}假设我们从52张扑克牌中任取5张,选出来的牌打出三代二的可能性是多少?再来看分子,我们具体看其中的一种可能(三张7,两张10)还是比较费力,我们来看一下这种情况应该如何去分析。同时这个定义有两个前提假设。(这是高中二项分布的知识)首先我们看分母的概率是。...原创 2022-07-19 11:39:01 · 215 阅读 · 0 评论 -
【求解AX=b】
此时每行都有主元,因此方程的个数小于等于未知数的个数,有解的条件,下面再来看一下应该如何进行求解。下面我们进行消元,由于这里。那么我们应该如何求得所有的解呢?因此我们经过回代就可以得到。不一定等于0,因此我们看。我们还是以上一节的矩阵。上面已经证明了。......原创 2022-07-19 10:31:14 · 412 阅读 · 0 评论 -
【求解AX=0】
由于消元所用到的初等变换均不会使方程的右侧(0)发生改变,因此我们只需要考虑方程的左侧即可。如果我们将主列放在前面,自由列放在后面,我们就可以得到一个由主列构成的单位矩阵。对应的这个矩阵有两个主列,即列1和列3,其他两列我们称为自由列(那么我们有没有办法一次性求出所有特解呢,我们假设特解矩阵为。前面有提到自由列对应的未知数可以任意取值,我们不妨取。也是该方程的解,我们称他为方程组的一组特解。同样我们可以通过取不同的自由值得到不同的解。可以看到这个矩阵的主元只有两个,因此。,我们可以按照一定的原则继续化简。.原创 2022-07-18 15:05:15 · 1336 阅读 · 0 评论 -
【向量空间】
先来看一下向量有哪些基本运算?a、ba+ba−b3a所谓向量空间,我们以二维实向量空间为例,我们将其记作R2[28]下面举一个反例,例如我们取R2的第一象限−1虽然Rn是一个向量空间,但我们往往更关注其子空间,那么我们能否在R2中寻找一个子空间呢?如图所示,下面我们再来看如何通过矩阵构造向量空间A=⎣⎡132341⎦⎤R3⎣⎡124⎦⎤和⎣⎡331⎦⎤C(A)P∈R。...原创 2022-07-18 10:24:06 · 600 阅读 · 0 评论 -
【特征工程】
俗话说,巧妇难为无米之炊。在机器学习中,,而。对于一个机器学习的问题,数据和特征往往决定了结果的上限,而模型、算法的选择则是在逐步接近这个上限。特征工程,顾名思义,就是对原始数据进行一系列工程处理,将其提炼为特征,作为输入供算法和模型使用。从本质上来讲,特征工程是一个表示和展现数据的过程。...原创 2022-07-16 23:17:20 · 418 阅读 · 0 评论 -
【乘法和逆矩阵】
首先我们来看常规的矩阵乘法现在我们再来看整列的情况同理如果我们看整行的情况我们再进一步发散思维,前面常规该方法有提到矩阵CCC中的某个元素是由矩阵AAA的行乘矩阵BBB的列所得到的,那么矩阵AAA的列乘矩阵BBB的行我们又能得到什么呢?最后我们再来看一下矩阵的分块乘法 首先我们假设有矩阵AAA,那么讨论有没有逆的大前提就是矩阵AAA是个方阵,然后再进行下一步的讨论下面我们来看奇异矩阵,举例说明:...原创 2022-07-07 09:58:41 · 308 阅读 · 0 评论 -
【02矩阵消元】
首先给出我们要求解的方程组:{x+2y+z=23x+8y+z=124y+z=2\left\{\begin{array}{rcl}x+2y+z&=2 \\3x+8y+z&=12 \\4y+z&=2 \end{array} \right. ⎩⎨⎧x+2y+z3x+8y+z4y+z=2=12=2那么我们可以得到其系数矩阵AAA:A=[121381041]A=\left[ {\begin{array}{cc}1\quad2\quad1\\3\quad8\原创 2022-07-01 01:11:47 · 98 阅读 · 0 评论 -
【01方程组的几何解释】
定义一个线性方程组如下:{2x−y=0−x+2y=3\left\{\begin{array}{rcl}2x-y=0 & \\-x+2y=3 & \end{array} \right. {2x−y=0−x+2y=3我们用矩阵形式表达可以得到:[ 2−1−1 2][xy]=[03]\left[ {\begin{array}{cc}~~2\quad-1\\ -1\quad~~~2 \end{array} } \right]\left[ {\begin原创 2022-06-30 22:38:22 · 126 阅读 · 0 评论 -
KMean算法精讲
KMeas算法是一种聚类算法,同时也是一种无监督的算法,即在训练模型时并不需要标签,其主要目的是通过循环迭代,将样本数据分成K类。原创 2022-06-12 21:11:28 · 5125 阅读 · 0 评论 -
XGBoost目标函数构建个人理解
XGBoost全称 “Extreme Gradient Boosting“,被称为极端梯度提升法。它利用一连串的决策树,通过学习前一个决策树残差的方式,来不断逼近最终的预测结果,这里着重讲目标函数是如何构建的以及如何生成一棵新的树。...原创 2022-06-10 15:53:33 · 215 阅读 · 0 评论 -
PCA详解
PCA,即主成分分析,通常用于数据的降维、去噪,可以有效地解决过拟合问题,提高训练效率原创 2022-06-04 21:57:18 · 12142 阅读 · 1 评论 -
比较三种梯度下降方式
梯度下降是我们在机器学习中进行模型更新的一种常用方式,我们模型更新的目的往往是寻找最优解(对于凸函数而言)或者次优解,而对于高维的特征而言其过程往往是曲折的。 我们可以将寻找最优解的过程类比为下山。如果下山时雾气很大,我们无法选择最短路径,但可以通过周围的环境来进行判断当前位置相对最陡峭的地方往下走,一步步达成目的。...原创 2022-06-01 09:14:05 · 1363 阅读 · 3 评论 -
逻辑回归算法理解(包含损失函数求导过程详细推导)
本文目录一、Sigmoid函数基本信息特点二、逻辑回归函数基本函数极大似然估计目标函数参数优化 逻辑回归模型是应用较为广泛的一个模型,其可以看做是在线性回归的基础上,对结果又加了SigmoidSigmoidSigmoid函数,然后通过设定的分类阈值,来解决二分类问题(即如果结果大于或小于分类阈值)。一、Sigmoid函数基本信息其函数表达式为:y(x)=11+e−xy(x)=\frac{1}{1+e^{-x}}y(x)=1+e−x1其图像如下:特点通过图像我们可以看出,Sigmoid函数原创 2022-05-31 17:36:10 · 1374 阅读 · 1 评论 -
线性回归深度理解
线性回归模型是一种确定变量之间的相关关系的一种数学回归模型。一般用来处理如下图所示,变量之间满足一定线性关系的问题一、经典的线性回归其基本公式为Yi=β0+β1Xi1+β2Xi2+...+βpXip+εi,i=1,...,nY_i=\beta_0+\beta_1X_{i1}+\beta_2X_{i2}+...+\beta_pX_{ip}+\varepsilon_i,\quad\quad i=1,...,nYi=β0+β1Xi1+β2Xi2+...+βpXip+εi,i=1,...原创 2022-05-30 16:37:58 · 432 阅读 · 1 评论 -
最全面的SVM介绍(从拉格朗日对偶到SMO算法)
SVM主要用来处理二分类问题,其也可用以用来解决多分类问题与回归问题,只不过不常用。其目标是找到一个最优的分隔平面,来使得不同类别之间的距离最大化。核心思想是将问题转化成凸二次规划求解的问题。一、拉格朗日对偶变换 想要搞清楚SVM问题是如何进行转化的,首先就要搞清楚什么是拉格朗日对偶变换,我们这里简要的叙述一下。其核心思想是将求解最优问题转化成为相对容易求解的问题。原始问题假设我们研究的优化问题如下: Minimizef0(x)Minimizef_0(x)Minimizef0(x原创 2022-05-30 21:09:40 · 904 阅读 · 10 评论