![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 84
程序遇上智能星空
人工智能领域硕士,先后在互联网大厂、研究所工作,深耕软件开发、机器学习、数据挖掘、NLP、移动开发等领域,有较丰富的软件、人工智能的研究和开发经验。
展开
-
【向量范数】详解常用的向量范数
对应于闵可夫斯基距离(Minkowski distance),假设维向量,其Lp范数记作,定义为:假设维向量,其L0范数记作,定义为:L0范数表示向量中非零项的个数,当P=1时,也就是L1范数,对应曼哈顿距离(Manhattan distance),假设维向量,其L1范数记作,定义为: L1范数表示向量中各个元素绝对值之和,L2范数是最常用的范数,它表示从原点出发到向量确定的点的欧几里得距离。可用于优化正则化项,避免过拟合。无穷范数主要被用来度量向量中元素的最大值。...原创 2022-07-05 10:09:48 · 7313 阅读 · 0 评论 -
【最大似然估计】详解概率论之最大似然估计
最大似然估计(Maximum Likelihood Estimation,简称MLE)。它是机器学习中常用的一种参数估计方法。它提供了一种给定观测数据来评估模型参数的方法。也就是模型已知,参数未定。利用已知样本结果(统计概率)反推最有可能导致这样结果的参数值。.........原创 2022-06-21 08:50:33 · 16661 阅读 · 0 评论 -
【概率密度函数】简介概率论中的概率密度函数
概率密度函数(Probability Density Functions,简称PDF),概率密度函数是概率论里面最重要的概念之一。定义:设为一随机变量,若存在非负实函数,使对任意实数,有:则称为连续随机变量,称为的概率密度函数,简称概率密度或密度函数。概率密度函数具有如下性质:(1)非负性:(2)规范性: 条件概率密度函数:对于任意给定的,在给定区间内,条件概率密度函数都有如下公式成立:密度函数与分布函数的关系:(1)积分关系:(2)导数关系:若在处连续,。...原创 2022-06-20 13:38:02 · 16349 阅读 · 0 评论 -
【分布函数】详解常用的分布函数(均匀分布、正态分布、泊松分布等)
概率密度函数(Probability Density Functions,简称PDF),概率密度函数是概率论里面最重要的概念之一。定义:设为一随机变量,若存在非负实函数,使对任意实数,有:则称为连续随机变量,称为的概率密度函数,简称概率密度或密度函数。连续型随机变量的分布函数:详解常用的分布函数(均匀分布、指数分布、二项分布、正态(高斯)分布、泊松分布等)。.........原创 2022-06-20 13:26:59 · 56092 阅读 · 3 评论 -
【梯度下降法】详解优化算法之梯度下降法(原理、实现)
梯度下降法(Gradient descent,简称GD)是一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点,这个过程则被称为梯度上升法。梯度下降法是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降法和最小二乘法是最常采用的方法。在求解损失函数的最小值时,可以通过梯度下降法来迭代求解,原创 2022-06-15 16:30:43 · 51460 阅读 · 1 评论 -
【主成分分析】详解常用的降维方法-主成分分析(PCA)算法
主成分分析(PCA)是一种常用的无监督学习方法,利用正交变换把由线性相关变量表示的观测数据转换为几个由线性无关变量表示的数据。线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数,所以PCA是一种降维算法。主成分分析算法(PCA)是最常用的线性降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,并期望在所投影的维度上数据的信息量最大(方差最大),以此使用较少的数据维度,同时保留住较多的原数据点的特性。.........原创 2022-06-10 16:33:32 · 9671 阅读 · 4 评论 -
【聚类】详解常用的聚类算法(K-Means、DBSCAN等)
聚类是将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。聚类是一种运用广泛的探索性数据分析技术,人们对数据产生的第一直觉往往是通过对数据进行有意义的分组,通过对对象进行分组,使相似的对象归为一类,不相似的对象归为不同类。常见的聚类算法有kmeans、DBSCAN、谱聚类。在无监督学习中,目标通过对无标记数据训练样本的学习来揭示数据内在的性质规律,将数据集中的样本划分为多个不相交的子集。......原创 2022-06-09 17:01:40 · 7608 阅读 · 0 评论 -
【相似度计算】详解文本相似度计算(介绍、公式)
相似度算法主要任务是衡量对象之间的相似程度,是信息检索、推荐系统、数据挖掘等的一个基础性计算。现有的关于相似度计算的方法,基本上都是基于向量的,也即计算两个向量之间的距离,距离越近越相似。欧几里得度量(euclidean metric)(也称欧氏距离)是一个通常采用的距离定义,指在维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离),在二维和三维空间中的欧氏距离就是两点之间的实际距离。欧氏距离是最常用的距离计算公式,衡量的是多维空间中各个点之间的绝对距离,当数据很稠密并且连续时,这是一种很原创 2022-06-08 14:51:17 · 12101 阅读 · 3 评论 -
【决策树】深入浅出讲解决策树算法(原理、构建)
最早的决策树算法是由Hunt等人于1966年提出,Hunt算法是许多决策树算法的基础,包括ID3、C4.5和CART等。决策树算法是一种有监督学习算法,利用分类的思想,根据数据的特征构建数学模型,从而达到数据的筛选,决策的目标。 决策树( Decision Tree) 又称为判定树,是数据挖掘技术中的一种重要的分类与回归方法,它是一种以树结构(包括二叉树和多叉树)形式来表达的预测分析模型。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。一般,一棵原创 2022-06-06 15:26:20 · 37642 阅读 · 0 评论 -
【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法(公式、原理)
朴素贝叶斯(Naive Bayes)是一种简单经典的分类算法,它的经典应用案例为人所熟知:文本分类(如垃圾邮件过滤)。条件概率:记事件A发生的概率为P(A),事件B发生的概率为P(B),则在B事件发生的前提下,A事件发生的概率即为条件概率,记为P(A|B)。原创 2022-06-02 14:11:25 · 45675 阅读 · 6 评论 -
【随机森林】深入浅出讲解随机森林算法
随机森林由Leo Breiman(2001)提出的一种分类算法,它通过自助法(bootstrap)重采样技术,从原始训练样本集N中有放回地重复随机抽取n个样本生成新的训练样本集合训练决策树,然后按以上步骤生成m棵决策树组成随机森林,新数据的分类结果按分类树投票多少形成的分数而定。其实质是对决策树算法的一种改进,将多个决策树合并在一起,每棵树的建立依赖于独立抽取的样本。原创 2022-06-01 17:25:26 · 5593 阅读 · 0 评论 -
深入浅出讲解梯度消失和梯度爆炸问题(原因、解决方法)
1.梯度消失和梯度爆炸产生的原因:传统的神经网络通常是基于BP算法优化权重参数的,即通过损失函数计算的误差通过梯度反向传播的方式对神经网络中的权重进行更新,其中用到的是连乘形式的链式法则。梯度消失:产生的原因基本上是网络太深或是采用了不恰当的损失函数,如sigmoid函数、tanh函数等。由于sigmoid函数的导数最大值是0.25,因而通过链式法则,导致靠近输入层的权重更新缓慢甚至停...原创 2020-03-19 16:52:37 · 2890 阅读 · 2 评论