自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Bootstrapping sample

Bootstrapping   bootstrap sample是什么? OOB(out of boostrap)是什么?   boostrap sample: 是一种从给定训练集中有返回的均匀抽样, 也就是, 每当选中一个样本, 它等可能地再次被抽中, 并被添加到训练集中。   机器学习...

2018-08-31 17:59:27

阅读数 609

评论数 0

原创 集成学习之Boosting

Boosting   Boosting 指使用加权平均值使弱的学习器变强的一组算法。与 Bagging 不同,每个模型单独运行,最后在不偏向任何模型的前提下聚合输出结果。Boosting 是一项「团队工作」。每个模型决定下一个模型要关注的特征。   Boosting 也需要 Bootstrap...

2018-08-31 17:57:31

阅读数 168

评论数 0

原创 集成学习之Bagging

Bagging   可以看成是一种圆桌会议, 或是投票选举的形式. 通过训练多个模型, 将这些训练好的模型进行加权组合来获得最终的输出结果(分类/回归)。即Bagging predictor 是一种生成多个预测器版本然后生成聚合预测器的方法。一般这类方法的效果, 都会好于单个模型的效果. 在实践...

2018-08-31 17:51:22

阅读数 125

评论数 0

原创 集成学习(Ensemble Learning)

集成学习(Ensemble Learning)   集成学习是机器学习中一个非常重要且热门的分支,是用多个弱分类器构成一个强分类器,其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类器可以由决策树,神经网络,贝叶斯分类器,K-近邻等构成。这些算法可以是不同的算法,也可以是相同的算法。已经有学者理...

2018-08-31 17:30:31

阅读数 983

评论数 0

原创 机器学习基础--网络嵌入方法(Network Embedding)

网络嵌入方法(Network Embedding)   旨在学习网络中节点的低维度潜在表示,所学习到的特征表示可以用作基于图的各种任务的特征,例如分类,聚类,链路预测和可视化。   由于信息网络可能包含数十亿个节点和边缘,因此在整个网络上执行复杂的推理过程可能会非常棘手。因此有人提出了用...

2018-08-31 17:16:32

阅读数 5490

评论数 2

原创 Bayesian Program Learning(贝叶斯程序学习)

Bayesian Program Learning   「贝叶斯程序学习」(BPL,Bayesian Program Learning),能让计算机系统对人类认知进行很好的模拟。但现在有关bayesian的研究放缓。   传统的机器学习方法需要大量的数据来训练,而这种方法只需要一个粗略的模型,...

2018-08-31 17:14:48

阅读数 688

评论数 0

原创 alpha-GO中的蒙特卡洛方法与信心上限决策方法

围棋中的蒙特卡洛方法   其思想很简单,对于当前棋局,随机地模拟双方走步,直到分出胜负为止。通过多次模拟,计算每个可下棋点的获胜概率,选取获胜概率最大的点走棋。   在围棋程序中实际使用的是一种被称为蒙特卡洛树搜索的方法,边模拟边建立一个搜索树,父节点可以共享子节点的模拟结果,以提高搜索的效率...

2018-08-17 11:55:25

阅读数 303

评论数 0

原创 粒子群算法

粒子群算法   粒子群优化算法(PSO:Particle swarm optimization) 是一种进化计算技术(evolutionary computation)。   源于对鸟群捕食的行为研究。粒子群优化算法的基本思想:是通过群体中个体之间的协作和信息共享来寻找最优解.   PSO的...

2018-08-17 11:52:47

阅读数 444

评论数 0

原创 机器学习基础--碎片知识点(5)

决策边界 (decision boundary)   在二元分类或多类别分类问题中,模型学到的类别之间的分界线。两种类别之间明确定义的边界。   例如,在以下表示某个二元分类问题的图片中,决策边界是橙色类别和蓝色类别之间的分界线: 压缩感知CS与DL   压缩感知完全基于模型(...

2018-08-17 11:31:37

阅读数 107

评论数 0

原创 机器学习基础--碎片知识点(3)

predictor   predictor是指:基于这个变量,我们可以预测另一个变量的值。也就是说,predictor是自变量。在英文专业术语中,自变量被称为predictor或者independent variable。相对应地,因变量的专业术语可以是dependent variable或者o...

2018-08-17 10:48:27

阅读数 165

评论数 0

原创 机器学习基础--贝叶斯与Ln正则化、核范数与rank

频率派与贝叶斯派   1)频率派:   把需要推断的概率参数θ看做是固定的未知常数,即概率虽然是未知的,但最起码是确定的一个值,同时,样本X 是随机的,所以频率派重点研究样本空间,大部分的概率计算都是针对样本X 的分布;”   2)贝叶斯派:   认为概率参数是随...

2018-08-17 10:32:42

阅读数 209

评论数 0

原创 机器学习基础--判别模型和生成模型

判别模型(Discriminative model)和生成模型(generative model)   监督学习又可以分为两类,(只有监督学习才会有判别和生成的概念)   1)判别模型(Discriminative model):SVM和逻辑回归   2)生成模型(generativ...

2018-08-17 10:23:26

阅读数 437

评论数 0

原创 机器学习基础--概率图模型

概率图模型   即图模型,graphical model;PGM(Probabilistic Graphical Models)。   几年前,概率图模型(图论和概率方法的合并)那是风靡一时。概率图流派,更符合人类的思维习惯。它将内在逻辑利用概率关系设计到模型当中,然后利用少量的数据就能...

2018-08-17 10:15:17

阅读数 276

评论数 0

原创 机器学习基础--多尺度

尺度空间 (Scale Space) /分辨率不变   如果不同的尺度下都有同样的关键点,那么在不同的尺度的输入图像下就都可以检测出来关键点匹配,也就是尺度不变性。   另外,高斯核是唯一可以产生多尺度空间的核。 图像金字塔   一般包括2个步骤,分别是使用低通滤波平...

2018-08-17 10:09:12

阅读数 1381

评论数 0

原创 机器学习基础--评价指标

单一数值评价指标 两个评价指标   为你的项目准备一个简单的实数指标作为评价指标,以便知道调节某个设置是否有助于算法的改进。在测试多个场景时,该指标能够帮助你快速选择最有效的算法。有时,你可能需要两个指标来评估算法,比如查准率(Precision)和召回率(Recall)。但是...

2018-08-17 10:01:03

阅读数 83

评论数 0

原创 机器学习基础--数据分析

数据分析 数据分析的流程 1)问题定义 2)数据获取 3)数据预处理 4)数据分析与建模 5)数据可视化及数据报告的撰写” 数据分析的方法 1.贡献度分析   贡献度分析又称帕累托分析,它的原理是帕累托法则又称2/8定律。即累积...

2018-08-01 17:05:39

阅读数 98

评论数 0

原创 机器学习基础--机器学习中的稳定性风险

机器学习中稳定性风险   参考资料:如何看待机器学习中的”“稳定性”“?2017-12-07 阿萨姆 AI研习社 1.下溢(Underflow)和上溢(Overflow)   属于计算稳定性。顾名思义,溢出是代表内容超过了容器的极限。在机器学习当中,因为我们大量的使用概率(Pro...

2018-08-01 16:02:17

阅读数 582

评论数 0

原创 机器学习基础--模型的基本假设

模型的基本假设   理解模型的基本假设,看自己的数据是否符合这种假设。任何模型都是有某种假设的,如果数据不符合这种假设,就不太可能学出有意义的模型并用于预测。 比如LDA(主题模型)   假设是在同样一批文档中经常共现的词,语义上往往是相关的。这种特性不仅在自然语言中成立,在一些...

2018-08-01 15:53:05

阅读数 583

评论数 0

原创 机器学习基础--偏差和方差

偏差/方差(bias/variance)   优化完成后,你发现网络的表现不尽如人意,这时诊断网络处于高偏差/高方差状态是对你下一步调参方向的重要指导。与经典机器学习算法有所不同,因为深度神经网络通常要处理非常高维的特征,所以网络可能同时处于高偏差/高方差的状态,即在特征空间的一些区域网络处...

2018-08-01 15:41:59

阅读数 190

评论数 0

原创 机器学习基础--训练误差与泛化误差;泛化

泛化   是机器学习本身的核心。简单说,泛化就是在训练数据集上训练好的模型,在测试数据集上表现如何。   正则化”是我们用来防止过拟合的技术。由于我们没有任何关于测试扰动的先验信息,所以通常我们所能做的最好的事情就是尝试训练训练分布的随机扰动,希望这些扰动覆盖测试分布。随机梯度下降,dr...

2018-08-01 15:40:33

阅读数 2800

评论数 0

提示
确定要删除当前文章?
取消 删除