datongchi4098-CSDN博客

转载模型选择

继续上节内容介绍学习理论，介绍模型选择算法，大纲内容为：交叉验证特征选择回顾上节的偏差方差权衡现象，若选择过于简单的模型，偏差过高，可能会导致欠拟合；若选择过于复杂的模型，方差过高，可能会导致过拟合，同样模型的一般适用性不好。模型复杂度：多项式的次数或参数的个数。（1）尝试选择多项式的次数 ...

2017-01-12 21:21:00 214

转载经验风险最小化

学习理论：偏差方差权衡（Bias/variance tradeoff）训练误差和一般误差（Training error & generation error）经验风险最小化（Empiried risk minization）联合界引理和Hoeffding不等式（Union bound & Hoeffding inequality）有限与无限假设类的...

2016-11-18 11:31:00 883

转载支持向量机（下）

回顾上节主要引出了最优间隔分类器的模型，并简述了支持向量的含义，接下来这节将围绕支持向量机模型及其优化方法SMO来展开。最优间隔分类器模型的原始最优问题：为了求解模型，得到它的对偶最优问题：假设函数h(w,b)=g(wTx+b)为：从而引出了核函数的重要概念，对于支持向量机的优化方法必不可少。同时，在求解模型的过程中会遇到有离群值的干扰，需要对模型做出修...

2016-11-14 15:50:00 176

转载支持向量机（上）

首先，提出一个问题：如何构造非线性分类器？可以从线性回归到逻辑回归的变化过程中得到启发，逻辑回归本质上是增加了一个逻辑函数g(z)来映射输入x到{0,1}。逻辑回归的计算过程可以简化为上图，圈表示一个计算节点，即激活函数（activation function）g(z)，这里取Sigmoid函数（激活函数还可以选取双曲正切函数（tanh），它的映射结果为{-1,1}）。那...

2016-11-10 17:22:00 131

转载生成学习算法

这节主要介绍了生成学习算法。首先与逻辑回归分类算法进行比较，引出生成学习算法的核心思想，然后介绍了一种基本的生成学习算法——高斯判别分析，并进一步对高斯分布条件进行讨论，比较生成学习算法与判别学习算法的区别，最后介绍了两种适合文本分类的朴素贝叶斯方法，并由引入新数据时产生的问题介绍拉普拉斯平滑法。基本思路是：生成学习算法（Generative Learni...

2016-11-08 17:16:00 125

转载指数分布族与广义线性模型

整理一下之前所学过的关于回归问题的思路：问题引入：房屋估价，给定新的房屋信息，预测出相应的房屋价格；学习过程：构建模型h(θ)；线性回归：最小二乘法、梯度下降法、线性模型的概率解释；局部加权回归：带权重的线性回归、权值的钟形函数；逻辑回归：分类方法、梯度上升法、牛顿法、引出感知机学习算法；广义线性模型：指数分布族、给定概率分布推导出线性模型。...

2016-11-02 22:54:00 647

转载局部加权回归与逻辑回归

在上一节中主要介绍了监督学习中的线性回归（模型）、最小二乘法（策略）、梯度下降法（算法）及线性最小二乘法的标准方程（闭式解）。这节主要介绍两个回归：局部加权回归与逻辑回归，其中穿插一些小的知识点：欠拟合与过拟合、感知机、牛顿方法等。大纲如图：一、几个概念 1. 欠拟合与过拟合问题之前所采用的线性回归方法面对上图...

2016-11-02 15:39:00 493

转载线性回归模型与梯度下降法

一、机器学习概述： 1. 学习动机：机器学习已经在不知不觉中渗透到人们生产和生活中的各个领域，如邮箱自动过滤的垃圾邮件、搜索引擎对链接的智能排序、产品广告的个性化推荐等；机器学习横跨计算机科学、工程技术和统计学等多个学科，需要融合多学科的专业只是，也同样可以作为实际工具应用到各行各业之中；如何从移动计算和传感器所产生的海量数据中抽取出有价值的信息将成为一个非常重要的...

2016-10-31 21:12:00 272

转载机器学习的Spark与Scala开发简介

一、机器学习常用开发软件：Spark、Scala 1. Spark简介： MLlib包含的库文件有：分类降维回归聚类推荐系统自然语言处理在线学习统计学习方法：偏向理论性，数理统计的方法，对实时性没有特别要求；机器学习：偏向工程化（包含数据预处理、特征选择、参数优化），有实时性要求，旨在构造一个整体的系统，如在线学习等...

2016-10-29 21:45:00 179

转载认知计算概论

前段时间的“人机大战”——谷歌的Alpha Go战胜人类棋手的新闻甚嚣尘上，不禁有人会想起1997年IBM自主研发的深蓝战胜卡斯帕罗夫的事件。“人工智能”这个词再次被推上风口浪尖，而“认知计算”却鲜有人听说，同样是人类模拟机器思索，让机器具有自主思考能力，都是具有跨时代意义和里程碑式的存在。认知计算更加强调机器或人造大脑如何能够主动学习、推理、感知这个世界，并...

2016-10-24 21:50:00 475

datongchi4098的博客