机器学习
SUNNY小飞
好好学习,天天向上,努力成为一个更优秀的小白。
展开
-
机器学习-09 集成学习
9、集成学习顾名思义,集成学习(ensemble learning)指的是将多个学习器进行有效地结合,组建一个“学习器委员会”,其中每个学习器担任委员会成员并行使投票表决权,使得委员会最后的决定更能够四方造福普度众生~…~,即其泛化性能要能优于其中任何一个学习器。9.1 个体与集成集成学习的基本结构为:先产生一组个体学习器,再使用某种策略将它们结合在一起。集成模型如下图所示:在上图的集成模型中,若个体学习器都属于同一类别,例如都是决策树或都是神经网络,则称该集成为同质的(homogene原创 2020-11-03 19:53:28 · 397 阅读 · 0 评论 -
机器学习-07 贝叶斯分类器
7、贝叶斯分类器贝叶斯分类器是一种概率框架下的统计学习分类器,对分类任务而言,假设在相关概率都已知的情况下,贝叶斯分类器考虑如何基于这些概率为样本判定最优的类标。在开始介绍贝叶斯决策论之前,我们首先来回顾下贝叶斯公式。7.1 贝叶斯决策论若将上述定义中样本空间的划分Bi看做为类标,A看做为一个新的样本,则很容易将条件概率理解为样本A是类别Bi的概率。在机器学习训练模型的过程中,往往我们都试图去优化一个风险函数,因此在概率框架下我们也可以为贝叶斯定义“条件风险”(conditional .原创 2020-11-03 19:39:33 · 520 阅读 · 0 评论 -
机器学习-补充03 神经网络之激活函数(Activation Function)
激活函数(Activation Function)1.为什么需要激活函数?激活函数通常有如下一些性质:非线性: 当激活函数是线性的时候,一个两层的神经网络就可以逼近基本上所有的函数了。但是,如果激活函数是恒等激活函数的时候(即f(x)=x),就不满足这个性质了,而且如果MLP使用的是恒等激活函数,那么其实整个网络跟单层神经网络是等价的。 可微性: 当优化方法是基于梯度的时候,这个性质是必须的。 单调性: 当激活函数是单调的时候,单层网络能够保证是凸函数。 f(x)≈x 当激活函数满足这个性原创 2020-11-01 19:40:29 · 629 阅读 · 0 评论 -
机器学习-补充02 神经网络中的偏置的意义
最基础的神经元感知器如下:原创 2020-10-31 20:24:02 · 634 阅读 · 0 评论 -
机器学习-05 神经网络
5、神经网络在机器学习中,神经网络一般指的是“神经网络学习”,是机器学习与神经网络两个学科的交叉部分。所谓神经网络,目前用得最广泛的一个定义是“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应”。5.1 神经元模型神经网络中最基本的单元是神经元模型(neuron)。在生物神经网络的原始机制中,每个神经元通常都有多个树突(dendrite),一个轴突(axon)和一个细胞体(cell body),树突短而多分支,轴突长而只有.原创 2020-10-31 20:18:28 · 3021 阅读 · 0 评论 -
机器学习-补充01 交叉熵存在的意义
交叉熵存在的意义和与平方差相比有什么好处?一个非常常见的,非常漂亮的成本函数是“交叉熵”(cross-entropy)。交叉熵产生于信息论里面的信息压缩编码技术,但是它后来演变成为从博弈论到机器学习等其他领域里的重要技术手段。它的定义如下:其中,y 是我们预测的概率分布, y’ 是实际的分布1.交叉熵是正的,2.当所有输入x的输出都能接近期望输出y的话,交叉熵的值将会接近 0。这两个特征在直觉上我们都会觉得它适合做代价函数。事实上,我们的均方代价函数也同时满足这两个特征。然而....为什原创 2020-10-31 20:09:46 · 774 阅读 · 0 评论 -
机器学习-03 线性模型
3、线性模型谈及线性模型,其实我们很早就已经与它打过交道,还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗?这就是线性模型的经典算法之一:根据给定的(x,y)点对,求出一条与这些点拟合效果最好的直线y=ax+b,之前我们利用下面的公式便可以计算出拟合直线的系数a,b(3.1中给出了具体的计算过程),从而对于一个新的x,可以预测它所对应的y值。前面我们提到:在机器学习的术语中,当预测值为连续值时,称为“回归问题”,离散值时为“分类问题”。本篇先从线性回归任务开始,接着讨论分类和多分类问题。.原创 2020-10-30 19:44:26 · 1643 阅读 · 0 评论 -
机器学习-02 模型的评估与选择
2.1 误差与过拟合我们将学习器对样本的实际预测结果与样本的真实值之间的差异成为:误差(error)。定义:在训练集上的误差称为训练误差(training error)或经验误差(empirical error)。 在测试集上的误差称为测试误差(test error)。 学习器在所有新样本上的误差称为泛化误差(generalization error)。显然,我们希望得到的是在新样本上表现得很好的学习器,即泛化误差小的学习器。因此,我们应该让学习器尽可能地从训练集中学出普适性的“一般特征”,这原创 2020-10-30 19:07:56 · 1494 阅读 · 0 评论 -
机器学习-01 绪论
1.1 机器学习的定义正如我们根据过去的经验来判断明天的天气,吃货们希望从购买经验中挑选一个好瓜,那能不能让计算机帮助人类来实现这个呢?机器学习正是这样的一门学科,人的“经验”对应计算机中的“数据”,让计算机来学习这些经验数据,生成一个算法模型,在面对新的情况中,计算机便能作出有效的判断,这便是机器学习。另一本经典教材的作者Mitchell给出了一个形式化的定义,假设:P:计算机程序在某任务类T上的性能。 T:计算机程序希望实现的任务类。 E:表示经验,即历史的数据集。若该计算机程序通过利原创 2020-10-30 16:25:43 · 285 阅读 · 0 评论 -
机器学习学习之旅--一文读懂神经网络
神经网络:从神经元到深度学习 神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解深度学习技术。 神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。 本文的目录...原创 2020-05-28 20:54:29 · 1046 阅读 · 0 评论 -
机器学习专业术语汇总
模型(model):计算机层面的认知 学习算法(learning algorithm),从数据中产生模型的方法 数据集(data set):一组记录的合集 示例(instance):对于某个对象的描述 样本(sample):也叫示例 属性(attribute):对象的某方面表现或特征 特征(feature):同属性 属性值(attribute value):属性上的取值 属性空间(...原创 2019-10-23 13:50:13 · 789 阅读 · 0 评论 -
机器学习--正则化(Regularization)
机器学习--正则化(Regularization)【基本概念】正则化是指修改学习算法,使其降低泛化误差.正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时,最终目的是让模型在面对新数据的时候,可以有很好的表现。当你用比较复杂的模型比如神经网络,去拟合数据时,很容易出现过拟合现象(训练集表现很好,测试集表现较差),这会导致模型的泛化能力下降,这...原创 2019-10-01 17:10:48 · 643 阅读 · 0 评论 -
机器学习--没有免费的午餐定理
机器学习--没有免费的午餐定理解释:一种算法(算法A)在特定数据集上的表现优于另一种算法(算法B)的同时,一定伴随着算法A在另外某一个特定的数据集上有着不如算法B的表现; 具体问题(机器学习领域内问题)具体分析(具体的机器学习算法选择)。具体哪一个函数更好,取决于数据本身的规律,而这个规律,从有限的观测数据中,是不可能绝对准确地把握的。没有免费午餐理论所证明的是:能产生所观测...原创 2019-10-01 16:50:43 · 2754 阅读 · 0 评论 -
机器学习--k-近邻(kNN, k-NearestNeighbor)算法
机器学习--k-近邻(kNN, k-NearestNeighbor)算法一、算法概述邻近算法,或者说K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表。 Cover和Hart在1968年提出了最初的邻近算法。 KNN是一种分类(classific...原创 2019-10-01 11:20:35 · 1636 阅读 · 0 评论 -
机器学习
机器学习Machine Learning基本概念**机器学习定义(Mitchell 1997):**对于某类任务T和性能量度P,一个计算机程序被认为可以从经验E中学习,通过经验E改进后,它在任务T上由性能度量P衡量的性能有所提升。致力于研究如何通过计算的手段,利用经验来改善自身的性能。机器学习所研究的主要内容是关于在计算机上从数据中产生“模型”(model)的算法即“学习算法”。机器学习是...原创 2019-07-31 11:27:46 · 250 阅读 · 0 评论 -
机器学习练习——线性回归
一. 单变量线性回归问题背景:假如你是餐馆老板,已知若干城市中人口和利润的数据(ex1data1.txt),用线性回归方法计算该去哪个城市发展。 ex1.m是官方提供的入口函数,通过该函数补全其他函数的代码。warmUpExercise.m:输出55的单位矩阵A = eye(5);1Matlab中,eye(n) 返回nn的单位矩阵,eye(m,n) 返回m*n的单位矩阵plotData...原创 2019-07-31 11:41:58 · 1343 阅读 · 0 评论 -
机器学习-单变量线性回归及代码实现
单变量线性回归线性回归是利用数理统计中的回归分析,来确定两种或两种以上变量间相互依赖的关系的一种统计分析方法。其主要作用有:1.预测:线性回归可以用来对观测数据集X和对应输出值Y拟合出一个预测模型。当完成这样一个模型以后,对于一个新增的x值,在没有给定与它相配对的y的情况下,可以用这个拟合过的模型预测出一个y值。2.相关强度:给定一个变量y和一些变量xi, x2,… xn,这些变量有可能与...原创 2019-07-31 12:03:00 · 922 阅读 · 0 评论 -
一文轻松了解神经网络-小白入门必备
声明:本文在参考https://www.cnblogs.com/subconscious/p/5058741.html的基础上进行精简以及修改一文轻松了解神经网络 本文以一种简单的,循序的方式讲解神经网络。适合对神经网络了解不多的同学。 神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神...原创 2019-08-18 16:36:00 · 1659 阅读 · 0 评论 -
线性回归和逻辑回归
本文参考链接:https://blog.csdn.net/jiaoyangwm/article/details/81139362线性回归和逻辑回归线性回归利用大量的样本D=(xi,yi)Ni=1D={(x_i,y_i)}_{i=1}^ND=(xi,yi)i=1N,通过有监督的学习,学习到由x到y的映射fff,利用该映射关系对未知的数据进行预估,因为y为连续值,所以是回归问题...原创 2019-08-20 17:16:01 · 543 阅读 · 0 评论 -
机器学习-精确率与召回率
机器学习-精确率与召回率数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)等。二元分类器:混淆矩阵True Positive(真正,TP):将正类预测为正类数 True Negative(真负,TN):将负类预测为负类数 False Positive(假正,FP):将负类预测为正类数误报 (Type I error)...原创 2019-09-28 15:49:46 · 3448 阅读 · 0 评论 -
应用数学与机器学习基础-线性代数
应用数学与机器学习基础-线性代数基本概念线性代数主要研究的是以下几种对象:标量(scalar):标量就是单一的数字,比如单一的整数,实数,有理数等都是标量。 向量(vector):可以看做是一组标量形成的一维数组,如由n个实数组成的向量:矩阵(matrix): 矩阵是二维数组,所以每个元素需要行和列的指标来标记张量(tensor):张量是多维数组,当它是零维时就...原创 2019-09-29 16:07:50 · 377 阅读 · 0 评论 -
机器学习常见算法
机器学习常见算法先说算法,其实算法是个很大的概念,除了机器学习算法,还有很多非机器学习算法,如编程里解决排序的快排、堆排、冒泡,也是算法。只是机器学习太火了,一提算法,多想到的是机器学习算法。1.决策树决策树,一种预测模型,代表的是对象属性与对象值之间的一种映射关系。一般来讲通过学习样本得到一个决策树,这个决策树能够对新的数据给出正确的分类。这里举一个简单的例子:比如说,样本...原创 2019-09-30 23:57:45 · 2102 阅读 · 0 评论 -
机器学习--机器学习基础
机器学习(Machine Learning ) --机器学习基础机器学习 概述机器学习(Machine Learning,ML)是使用计算机来彰显数据背后的真实含义,它为了把无序的数据转换成有用的信息。是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改...原创 2019-09-30 23:59:24 · 1681 阅读 · 0 评论 -
机器学习Machine Learning
机器学习Machine Learning定义(Mitchell 1997):对于某类任务T和性能量度P,一个计算机程序被认为可以从经验E中学习,通过经验E改进后,它在任务T上由性能度量P衡量的性能有所提升。(1)任务T:学习过程本身不能算是任务。学习是我们所谓的获取完成任务的能力。通常机器学习任务定义为机器学习系统如何处理样本。(样本:收集到的已经量化的特征的集合 x∈R^n)机器学习常见任...原创 2019-07-23 18:56:16 · 179 阅读 · 0 评论