机器学习
文章平均质量分 68
HanZee
过去不追究,未来不将就。
展开
-
机器学习:一文从入门到读懂PCA(主成分分析)
从基变换中我们了解到,同一个向量在不同的基坐标系下可以有不同的表示,但是他们本质是不变的,就如同‘你好这个词’,在中文下翻译为‘你好’,在英文下就是‘Hello’,但是他们本质的意思不变。定义符号:观测数据用X表示,它的协方差用C表示,旋转矩阵用P表示,旋转后的结果用Y表示,Y的协方差用D表示。观测数据用X表示,它的协方差用C表示,旋转矩阵用P表示,旋转后的结果用Y表示,Y的协方差用D表示。上面的向量A,在小泽的角度来看,就是[3,2],然而在小乐的角度看就变成了:[5/3,1/3]。原创 2022-11-29 18:02:51 · 2387 阅读 · 0 评论 -
面试机器学习你一定会遇到的知识点汇总
XTX。原创 2022-10-19 21:23:30 · 1148 阅读 · 1 评论 -
机器学习:交叉熵从理论到代码
交叉熵原创 2022-07-15 20:46:29 · 515 阅读 · 0 评论 -
机器学习:随机梯度下降(SGD)与梯度下降(GD)的区别与代码实现。
代码实现GD与SGD原创 2022-07-03 18:44:10 · 2637 阅读 · 2 评论 -
机器学习:numpy版本线性回归预测波士顿房价
numpy版本线性回归预测波士顿房价原创 2022-06-25 00:56:32 · 339 阅读 · 0 评论 -
机器学习:浅析从感知机到多层感知机
机器学习:浅析从感知机到多层感知机概述异或问题前置从公式角度理解从图像角度解释:激活函数概述通过前面的内容,我们深入剖析了单个感知机是如何运作的,如果想了解欢迎考古:感知机从理论到代码。接下里,我们来探讨一下:为什么感知机不能解决疑惑问题,但是多层感知机却可以解决?为什么激活函数从分段函数变成了sigmoid函数?异或问题前置我们知道计算机的所有程序最底层都是由与、或、异或来组成的,假设我们证明了多层感知机可以实现这四种运算,那么我们就可以假设它理论上可以逼近任何函数。感知机模型公式为:原创 2022-05-03 17:31:09 · 1186 阅读 · 0 评论 -
机器学习:感知机(Perceptron)从理论到代码
机器学习:感知机算法数据定义模型介绍优化方法局限性数据定义假设DataSet∑i=1N(xi,yi)\sum_{i=1}^{N}(x_i,y_i)i=1∑N(xi,yi),其中X∈Rpiid(N,σ2),Y∈(+1,−1)X \in R^{p} \dfrac{iid}{}\left( N,\sigma ^{2}\right),Y\in(+1,-1)X∈Rpiid(N,σ2),Y∈(+1,−1)w∈Rpw\in R^pw∈Rp模型介绍感知机算法主要用来解决而分类问题,它的架构十分简单,采用了原创 2022-04-12 18:02:22 · 1281 阅读 · 0 评论 -
机器学习:线性判别分析(LDA)思想总结
机器学习:线性判别分析(LDA)思想总结前情回顾核心思想前情回顾之前我们介绍过LDA的公式推导,如果对LDA遗忘了,欢迎考古:线性判别分析从理论到公式推导核心思想LDA是一种经典的降维方法。和PCA不考虑样本类别的无监督降维技术不同,LDA是一种监督降维方式,数据集的每个样本有输出类别。思想总结:1.多维空间中,数据处理分类问题较为复杂,LDA算法将多维空间数据投影到一条直线上,将d维度数据转化成1维数据处理。2.对于训练数据,设法将多维数据投影到一条直线上,同类投影点尽可能接近,不同的投影点原创 2022-04-08 20:38:25 · 1786 阅读 · 0 评论 -
机器学习:梯度下降法与最小二乘法(正规方程法)的差异
机器学习:梯度下降法与最小二乘法(正规方程法)的差异前置内容最小二乘法梯度下降法前置内容一元线性回归公式推导多元线性回归公式推导机器学习为什么需要梯度下降法为什么梯度的方向是函数增加最快的方向梯度下降法详细解答最小二乘法了解完上面的内容,最后我们要求解W的最优解,需要计算W=(XTX)−1XTYW = (X^TX)^{-1}X^TYW=(XTX)−1XTY,重点在于(XTX)−1(X^TX)^{-1}(XTX)−1,对逆矩阵的求解复杂度是非常高的,加入一个矩阵n*n,如果矩阵为n阶方阵,那么原创 2022-04-06 12:14:45 · 1208 阅读 · 0 评论 -
机器学习:梯度下降法超详细指南
在一阶函数中,一阶导数表示函数值与自变量的变化关系,我们把函数从一个点到另一个点变化的函数值与变化的自变量的比值称为函数这两点之间自变量方向的变化率,可以用。对一个维度的点求偏导数,如果结果为正,则在这点的这一维度为增函数,反之,则相反,我们知道了增减性,我们就知道了,函数往哪个方向走可以让函数的值达到最小。沿着梯度减小的方向走,梯度会越来越小,我们步长就会越来越小,到达极值点后,梯度达到水平,梯度值接近0,更新的参数也就不再变化。看到这里,我们可能会有一个疑问,求导的那个点的方向一定是沿着坐标轴的吗?原创 2022-04-06 11:45:05 · 2859 阅读 · 0 评论 -
机器学习:为什么需要梯度下降法
机器学习:为什么需要梯度下降法1.梯度下降法是迭代法的一种,可用于求解最小二乘问题。2.在求解机器学习算法的模型参数,在没有约束条件时,主要有梯度下降法,最小二乘法。3.在求解损失函数的最小值时,可以通过梯度下降法的迭代求解,求得最小值的损失函数和模型的参数。4.如果我们需要求解损失函数的最大值,可以通过梯度上升法来迭代,梯度下降法和梯度上升法可以相互转换。5.在机器学习中,梯度下降法主要有随机梯度下降法和batch梯度下降法。...原创 2022-04-04 23:19:35 · 2070 阅读 · 0 评论 -
机器学习:K-Means算法
机器学习:K-Means算法任务描述数据处理Encoder:归一化:Kmeans前置内容聚类基础概念模型运作方式模型改进方式:任务描述以竞品分析为背景,通过数据的聚类,为汽车提供聚类分类。对于指定的车型,可以通过聚类分析找到其竞品车型。通过这道赛题,鼓励学习者利用车型数据,进行车型画像的分析,为产品的定位,竞品分析提供数据决策。数据处理Encoder:由于数据集中还有很多非数值型数据,这样我们无法分析,文字型数据不能进行数学计算,所以我们采用词嵌入(One -hot)的方式,将非数值型数据转换成数原创 2022-04-04 17:31:36 · 2257 阅读 · 0 评论 -
机器学习:多实例学习综述
机器学习:多实例学习综述概念举例概念多实例学习(multiple instance learning):已知包含多个数据的数据包和数据包的标签,训练智能算法,将数据包映射到标签的过程,在有的问题中也同时给出包内每个数据的标签。举例比如说一段视频由很多张图片组成,假如10000张,那么我们判断视频里是否包含某一物体,比如气球。单张标注每一帧的是否有气球时间成本太大,通常人们看一遍说这个视频里是否有气球,就得到了多实例学习的数据,10000帧的数据不是每一帧都有气球,只要有一帧有气球,那么我们就认为这个原创 2022-04-03 00:09:11 · 1392 阅读 · 0 评论 -
机器学习:在梯度下降法中为什么梯度的方向是变化最快的方向
机器学习:在梯度下降法中为什么梯度的方向是变化最快的方向基础概念一阶导数偏导数方向导数梯度验证基础概念一阶导数在一阶函数中,一阶导数表示函数值与自变量的变化关系,我们把函数从一个点到另一个点变化的函数值与变化的自变量的比值称为函数这两点之间自变量方向的变化率,可以用ΔyΔx\frac{\Delta y}{\Delta x}ΔxΔy表示,当自变量x的变化趋近于0的时候,他们的比值叫做函数的导数,也可以叫做在函数某点沿着自变量变化的斜率。用tanΘtan\ThetatanΘ表示。f′(x)=limΔ原创 2022-04-02 21:15:24 · 1806 阅读 · 0 评论 -
机器学习基础:独立性与条件独立性
机器学习基础:独立性与条件独立性独立性条件独立性独立性两个随机变量x,y,概率分布表示称两个因子的乘积形式,一个因子只包含x,另一个因子只包含y,两个随机变量相互独立。条件有时为不独立的事件之间带来独立,有时也会吧本来独立的事件带来不独立。举例:(P(XY)=P(X)P(Y)(P(XY)=P(X)P(Y)(P(XY)=P(X)P(Y),事件X和事件Y独立,此时给定Z,P(X,Y∣Z)≠P(X∣Z)P(Y∣Z)P(X,Y|Z) \not=P(X|Z)P(Y|Z)P(X,Y∣Z)=P(X∣Z)P(原创 2022-03-28 21:03:58 · 2278 阅读 · 0 评论 -
机器学习:线性判别分析从理论到公式推导(LDA)
机器学习:线性判别分析从理论到公式推导(LDA)数据定义理论概述与变量定义公式推导数据定义DataSet X:=(xi,yi)i=1N,令X的每个观测值xi∈Rp{(x_i,y_i)}_{i=1}^N,令X的每个观测值xi \in R^p(xi,yi)i=1N,令X的每个观测值xi∈Rp,Y的每个元素yi∈Ry_i\in Ryi∈R,我们继续化简,X=[x11x12...x1px21x22...x2p......xn1xn2...xnp](1)\left[\begin{matrix}x_{原创 2022-03-23 00:45:55 · 809 阅读 · 0 评论 -
机器学习基础:特征值分解与特征向量
机器学习基础:特征值分解与特征向量特征值分解可以得到特征值与特征向量,特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么。如果说一个向量v是一个方阵A的特征向量,将一可以表示成下面形式Av=λvAv=\lambda vAv=λvλ\lambdaλ为特征向量v的特征值,特征值分解是将一个矩阵分解为如下形式:A=Q∑Q−1A=Q\sum Q^{-1}A=Q∑Q−1其中Q是这个矩阵A的特征向量所组成的矩阵,∑\sum∑是一个对角矩阵,每一个对角线元素就是一个特征值,里面的特征值有大到小排列,原创 2022-03-21 21:22:00 · 1749 阅读 · 0 评论 -
机器学习基础:机器学习为什么要使用概率?
机器学习基础:机器学习为什么要使用概率? 事件的概率是衡量事件发生可能性的度量,虽然再一次试验中某个事件的发生是带有偶然性的,但那些可在相同条件下重复的随机试验却往往呈现明显的数量规律。 机器学习除了处理不确定量,也需要处理随机量。不确定性和随机性可能来自多个方面,使用概率论来衡量来量化不确定性。 概率论在机器学习中扮演着一个重要角色,因为机器学习算法的设计通常依赖概率对数据的假设。...原创 2022-03-19 23:30:56 · 1388 阅读 · 0 评论 -
机器学习基础:极大似然估计高斯参数
机器学习基础:极大似然估计数据参数估计均值参数估计方差数据设DataSet:X={(x1,y1),(x2,y2),(x3,y3)…(xn,yn))},其中xi∈Rpxi \in R^pxi∈Rp,yi∈Ryi \in Ryi∈R,也就是说X=(x1,x2,x3.....xn)T(x1,x2,x3.....xn)^T(x1,x2,x3.....xn)T,其中这里,每个元素x都是一个p维的列向量,我们继续化简,X=[x11x12...x1px21x22...x2p......xn1xn2...xnp](1原创 2022-03-19 20:13:54 · 1073 阅读 · 0 评论 -
机器学习基础:变量与随机变量的区别
机器学习:变量与随机变量的区别随机变量变量与随机变量的区别随机变量随机变量表示随机现象(在一定条件下并不是总出现相同结果)中各种结果的实值函数(一切可能的样本点),发生概率不为1且大于0的变量都属于随机变量,随机变量具有随机性与不确定性,但是在随机变量的值落在某一个范围的概率是一定会的。例如:筛子的点数,某一时间内公共汽车的乘车人数。。。。。随机变量与模糊变量的不确定性的本质差别在于,后者测定的结果,仍具有不确定性,即模糊性。变量与随机变量的区别当变量的取值概率不是1是,变量就变成了随机变量,当随原创 2022-03-18 09:13:36 · 2493 阅读 · 0 评论 -
机器学习:导数与偏导数的区别.
机器学习:导数与偏导数导数和偏导数没有本质区别,都是当自变量的变化趋于0时,函数值的变化量与自变量变化量的比值的极限(如果极限存在的话)。一元函数,一个y对应一个x,导数只有一个。二元函数,一个z对应一个x和一个y,有两个导数:一个z对x的导数,一个z对y的导数,也叫做偏导数。求偏导数时要注意,对一个变量求导,另一个变量视为常数,只对改变量求导,从而将偏导数的求解转化为了一元函数的求解。...原创 2022-03-17 19:56:12 · 2561 阅读 · 0 评论 -
机器学习:正定矩阵
机器学习:如何判断正定矩阵以及相关证明如何判断正定矩阵?有可逆矩阵X,XTXX^TXXTX为什么为半正定矩阵?如何判断正定矩阵?1、所有顺序主子式大于0.2、特征值全为正。3、标准型中主对角元素全为>0。4、正惯性指数等于n。5、合同于单位矩阵等于E(规范形为E)6、存在可逆矩阵C使CTCC^TCCTC=该矩阵。有可逆矩阵X,XTXX^TXXTX为什么为半正定矩阵?如果有一个n∗nn*nn∗n的实对称矩阵定义为A,一个n维的vector定义为x,如果满足xTAx>=0x^TAx原创 2022-03-16 12:13:36 · 1411 阅读 · 0 评论 -
深度学习:模型的泛化能力浅显理解
深度学习:模型的泛化能力浅显理解通俗易懂的浅显理解通俗易懂的浅显理解模型的泛化能力通俗易懂的说就是模型在测试集(其中的数据模型以前没有见过)中的表现,也就是模型举一反三的能力,但是这些数据必须满足与iid(独立同分布)并在同一个分布中。举个例子:一张图片模型之前没有见过,但是这张图片与TrainDataSet在同一分布,并满足iid,模型可以很好的预测这张图,这就是模型的泛化,在测试集中,模型预测新数据的准确率越高,就可以说是模型的泛化能力越好。...原创 2022-03-08 19:38:59 · 7387 阅读 · 0 评论 -
机器学习:概率视角的线性回归(Linear Regression)
机器学习:概率视角的Linear Regression前言推导过程结论归纳前言上一节我们说到了一元线性回归·与·多元线性回归,大家如果还不清楚,可以去考古。之前,我们用最小二乘估计,推导出来:W∗=argmin(L(W))W^*=argmin(L(W))W∗=argmin(L(W))W∗=(XT∗X−1)∗XT∗YW^*=(X^T*X^{-1})*X^T*YW∗=(XT∗X−1)∗XT∗Y在这一小节中,我采取概率的视角来解决线性回归问题。推导过程还是这一张图,我们可以发现,如果让拟合的直线原创 2022-03-06 19:59:03 · 797 阅读 · 0 评论 -
机器学习:numpy练习题
机器学习:numpy练习题1. 从数组 a=np.arange(15)提取 5 到 10 之间的所有元素2. 将数组 np.arange(20)转变为 4 行 5 列的二维数组,并执行交换第 1 行和第 2 行,交换第 1 列和第 2 列。3. 寻找数组 np.random.randint(1,10,size=(5,5))中所有的奇数,并将所有奇数替换为 0.4. 从1—50之间的均匀地产生随机数字20个,存储数组 a 中,替换大于等于 30 数为 0,并获取给定数组 a 中前 5 个最大值的位置。5. 利原创 2022-03-04 22:20:35 · 8548 阅读 · 0 评论 -
机器学习:从公式推导到代码实现多元线性回归
机器学习:从公式推导到代码实现多元线性回归多元线性回归求解过程代码前面我们已经讨论过一元线性回归没如果大家对这个看的比较晦涩,可以查看前置内容:机器学习:从公式推导到代码实现一元线性回归多元线性回归我认为多元线性回归与一元线性回归本质上是一样的,一元线性回归可以看成数据特征维度为1的多元线性回归,而多元主要体现在数据维度的多样性,比如说房价预测,决定房价的因素有很多(比如,位置,新旧,大小。。。等)。求解过程设DataSet:={(x1,y1),(x2,y2),(x3,y3)…(xn,yn))},原创 2022-03-02 22:41:38 · 647 阅读 · 0 评论 -
机器学习:从公式推导到代码实现一元线性回归
机器学习:从公式推导到代码实现一元线性回归什么是线性回归求解过程什么是线性回归我们有一个数据集D={(X1,Y1),(X2,Y2),(X3,Y3)…)},把这组数据可视化出来如图所示:线性回归通俗易懂的说就是通过这些点中找到一条直线使这条直线到每个点的距离最小,我们在寻找这条直线的过程就叫做线性回归。图中点的横坐标也叫自变量,如果自变量的维度是1,那么就叫做一元线性回归(如(1,2,3)),相反,如果不是1如((1,2),(1,3)),那么就叫做多元线性回归。最终结果如下:求解过程我们如果想原创 2022-01-19 23:46:46 · 998 阅读 · 0 评论