blacklee123的专栏

核函数方法简介（1）核函数发展历史    早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, R

今天在找关联规则相关的资料时候，无意发现R语言中文论坛，虽然里面的资料有限，但是很有价值，譬如RWeka，一种开源的机器学习工具，在此予以介绍：背景介绍： #此前在首页部分显示#1）Weka：Weka有两种意思：一种不会飞的鸟的名字，一个机器学习开源项目的简称（Waikato Environment for Knowledge Analysis，http://www.cs.waikat

自编码算法与稀疏性目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合  ，其中  。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如  。下图是一个自编码神经网络的示例。自编码神经网络尝试学习一个  的函数。换句话说，它尝试逼近一个

神经元：在神经网络的模型中，神经元可以表示如下神经元的左边是其输入，包括变量x1、x2、x3与常数项1，右边是神经元的输出 神经元的输出函数被称为激活函数（activation function），输出值被称为激活值（activation value）。激活函数有很多种，其中最简单的莫过于sigmoid函数。除非特别声明，否则博客里提

逻辑回归主要用于解决分类问题，在现实中有更多的运用，正常邮件or垃圾邮件车or行人涨价or不涨价用我们EE的例子就是：高电平or低电平 同时逻辑回归也是后面神经网络到深度学习的基础。 （原来编辑器就有分割线的功能啊……）一、Logistic Function（逻辑方程）同线性回归，我们会有一个Hypothe

一、线性回归线性回归主要运用于“预测”类问题：假设我们有一堆的数据（房间大小，房价）。给定一个没见过的房间大小，它的价格应该怎么估计呢？ 一般来说，我们可以假定房价h(x)和大小x之间存在一种线性关系。求出最优h(x)后，对于每一个大小x的房间，我们都可以给出一个估价h(x)  概念：COST FUNCTION（代价函数）

课程文本分类project SVM算法入门转自：http://www.blogjava.net/zhenandaci/category/31868.html（一）SVM的简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机

引言在机器学习中，随机森林由许多的决策树组成，因为这些决策树的形成采用了随机的方法，因此也叫做随机决策树。随机森林中的树之间是没有关联的。当测试数据进入随机森林时，其实就是让每一颗决策树进行分类，最后取所有决策树中分类结果最多的那类为最终的结果。因此随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。随机森林可以既可以处理属性为离散值的量，如ID3算法

贝叶斯决策理论方法所讨论的问题是：已知总共有c类物体，也就是说待识别物体属于这c类中的一个类别，对这c类不同的物理对象，以及各类在这d维特征空间的统计分布，具体说来是各类别ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x|ωi)已知的条件下，如何对某一样本按其特征向量分类的问题。由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样本的特征向量为X，而在

R语言多元分析系列之一：主成分分析 主成分分析（principal components analysis， PCA）是一种分析、简化数据集的技术。它把原始数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分

贝叶斯决策理论方法在进行分类时要求：(1)各类别的总体概率密度函数的分布是已知的；(2)要决策分类的类别数数是一定的特征空间、特征向量、先验概率、类条件概率密度函数、出发点:概率的不同分类决策与相应的决策代价之间的定量折中假定：所有的有关的概率结构已知-->基于常识的判别过程几种常见的决策规则1)基于最小错误率的贝叶斯决策实质:通过观察x把状态的先验概率P(

一、极限学习机的概念    极限学习机(Extreme Learning Machine) ELM，是由黄广斌提出来的求解单隐层神经网络的算法。    ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。二、极限学习机的原理ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM 可以随机初始化输入权重和偏