机器学习
文章平均质量分 74
一大块肉松
凡心所向,素履以往
展开
-
机器学习和深度学习——归一化处理
(1)归一化后加快了梯度下降求最优解的速度(2)归一化有可能提高精度详解:(1)归一化后加快了梯度下降求最优解的速度\qquada.左图是未进行归一化的等高线,从左图中可以看出两个特征变化区间相差大,其形成的等高线非常尖,此时使用梯度下降法寻找最优解时,很有可能走“之”字型路线,从而导致需要迭代很多次才能收敛;\qquadb.右图,对数据进行归一化处理,此时两个特征的等高线显得平滑,在进行梯度下降能较快的收敛;\qquad因此如果机器学习模型使用梯度下降求最优解时,归一化非常有必要,否则需要花费更多原创 2022-07-13 10:02:05 · 1237 阅读 · 2 评论 -
机器学习(八)——KNN
一、KNN定义kkk近邻(k−NearestNeighbor,简称kNNk-Nearest Neighbor,简称kNNk−NearestNeighbor,简称kNN)学习是一种有监督学习方法。kkk近邻:可以用于分类任务中,也可以用于回归中。\qquad在分类任务常采用“投票法”,即选择k个样本中出现最多的类别作为测试样本所属的类别;\qquad在回归任务中采用“平均法”,即将kkk个样本的实际输出的平均值作为测试样本的输出结果。二、KNN工作机制\qquad工作机制:给定测试样本数据集,原创 2022-05-03 12:06:09 · 1368 阅读 · 0 评论 -
机器学习(九)——聚类(分类+原理+计算示例)
聚类是机器学习中的无监督学习原创 2022-04-29 16:53:16 · 6778 阅读 · 1 评论 -
机器学习(七)——集成学习:Boosting系列和Bagging系列
一、集成学习1.基础概念\qquad集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,也被称为多分类器系统、基于委员会的学习等。\qquad集成学习的一般结构是:先产生一组“个体学习器”,再用某种策略将它们结合起来。同质集成,和异质集成同质集成:所有的个体学习器都采用同种学习算法,例如C4.5决策树算法异质集成:个体学习器采用不同的学习算法,例如个体学习器中同时包含决策树和神经网络等。\qquad集成学习通过将多个学习器进行结合,常可以获得比单一学习器原创 2022-04-24 20:47:12 · 1507 阅读 · 0 评论 -
机器学习(六)——贝叶斯分类器
贝叶斯分类器是一类分类算法的总称,均以贝叶斯定理为理论基础一、预备知识—贝叶斯决策论1.公式\qquad贝叶斯决策论是概率框架下的实施决策的基本方法。对于分类任务来说,在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于概率和误判损失来选择最优的类别标记。\qquad假设有N种输出类别,表示为 yyy={c1,c2,c3.....cNc_1,c_2,c_3.....c_Nc1,c2,c3.....cN}\qquad λij\lambda_{ij}λij表示为将一个真实属于cj.原创 2022-04-22 15:00:05 · 2093 阅读 · 0 评论 -
机器学习(五)——支持向量机(SVM)
一、SVM定义进行二分类问题,设计一个超平面,将两个不同的样本分离开来。原创 2022-04-17 11:13:34 · 1817 阅读 · 0 评论 -
机器学习(四)神经网络
一、基本概念神经网络中最基本的成分是神经元模型。在生物神经网络中,每个神经元与其它神经元相连,当它“兴奋”时,就会像相连的神经元发送化学物质,从而改变这个神经元内的电位;如果某种神经元的电位超过了一个“阈值”,那么它就会被激活,即“兴奋”起来,向其他神经元发送化学物质。从计算机科学的角度,神经网络就是一个包含 许多参数的数学模型,这个模型是若干个函数相互(嵌套)代入而得。二、神经网络结构一般的神经网络的模型如下图所示:每一层神经元与下一层神经元全互连,神经元之间不存在同层连接,也不存在跨层原创 2022-04-12 18:03:09 · 2696 阅读 · 0 评论 -
机器学习(三)决策树
一、决策树介绍决策树是一类常见的机器学习的方法。一般的,一棵决策树包含一个根结点、若干个内部结点和若干个叶子结点:叶子结点对应于决策结果,其他每个节点对应于一个测试属性;2.每个结点包含的样本集合根据属性测试的结果被划分到子结点中;3.根结点包含样本全集;二、决策树的目的决策树学习的目的是为了产生一棵泛化能力强,即处理未见示例能力强的决策树。三、决策树学习算法1.ID3决策树学习算法该算法是以信息增益为准则来选择划分属性;该算法用于分类;该算法不支持剪枝操作;2.C4.5原创 2022-04-10 21:30:10 · 2228 阅读 · 0 评论 -
机器学习(零)基础----分类与回归
一、人工智能(artificial intelligence,AI)、机器学习(machine learning)、深度学习(deep learning)三者的关系其中(1)无监督学习:不需要提前知道数据集的类别标签。(2)半监督学习:是一种介于有监督学习和无监督学习之间的学习算法,半监督学习的特点就是利用极少的有标签的数据和大量的无标签数据进行学习,通过学习得到的经验对无标签的测试数据进行预测。(3)有监督学习:是使用大量有标签的训练数据来建立模型,以预测新的未知标签数据。用来指导模型建立的标原创 2022-04-10 16:53:44 · 1180 阅读 · 0 评论 -
机器学习(二)线性模型——线性回归、对数几率回归、线性判别分析
一、线性回归线性回归(linear regression:试图学得一个线性模型以尽可能准确地预测实值输出标记。1.最简单的形式:输入属性的数且只有一个,最小二乘法:基于均方差误差最小化来进行模型的求解,在线性回归中,最小二乘法就是试图找到一条直线,使得样本到直线上的欧氏距离之和最小。2.但是更一般的形式:输入的属性有多个求解这个的过程称为“多元线性回归”二、对数几率回归在 一 中讲到使用线性模型进行回归学习,若要进行分类任务,应该怎样做呢?此时需要借助某些函数,将分类的任务的结果与回归得到的原创 2022-04-10 16:18:11 · 2067 阅读 · 0 评论 -
机器学习(一) 拟合
一、拟合 欠拟合 过拟合1.拟合:根据训练样本中学习出适用于所有潜在样本的“普遍规律”,这样在遇到新样本时做出正确的判别,即具有很好的泛化能力。2.欠拟合是指对训练样本的一般性质没有学好,即无法更好的判别测试样本。3.过拟合当学习器把训练样本学习的很“优秀”,即在训练集上表现优秀,近似完美的预测或者区分出了所有的数据,但是在新的测试样本集却无法正确预测或者区分,缺乏泛化能力。二、解决过拟合和欠拟合的问题1.针对欠拟合问题:欠拟合通常是由于学习能力低下造成的,欠拟合比较容易克服,增大数据量;原创 2022-04-10 11:12:18 · 2283 阅读 · 0 评论