数据挖据基础

RSS订阅

原 数据挖掘学习笔记之人工神经网络（二）

多层网络和反向传播算法 我们知道单个感知器仅能表示线性决策面。然而我们可以将许多的类似感知器的模型按照层次结构连接起来，这样就能表现出非线性决策的边界了，这也叫做多层感知器，重要的是怎么样学习多层感知器，这个问题有两个方面： 1、  要学习网络结构； 2、  要学习连接权值 对于一...

2014-03-27 21:04:51

 

阅读数 3819

 

评论数 0

原 数据挖掘学习笔记之人工神经网络（一）

由于本人这段时间在学习数据挖掘的知识，学习了人工神经网络刚好就把学习的一些笔记弄出来，也为以后自己回头看的时候方便些。 神经网络学习方法对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法。对于某些类型的问题，如学习解释复杂的现实世界中的传感器数据，人工神经网络是目前知道的最有效学习...

2014-03-27 19:14:56

 

阅读数 5468

 

评论数 0

原 数据挖掘学习笔记--决策树C4.5

在网上和教材上也看了有很多数据挖掘方面的很多知识，自己也学习很多，就准备把自己学习和别人分享的结合去总结下，以备以后自己回头看，看别人总还是比不上自己写点，及时有些不懂或者是没有必要。 定义：分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习说白了很简单，就是给定一堆样本，每...

2014-03-23 11:56:20

 

阅读数 5062

 

评论数 0

原 数据挖掘开源软件：WEKA基础操作

数据挖掘开源软件：WEKA基础教程 本文档部分来自于网络，随着自己的深入学习，讲不断的修订和完善。 第一节   Weka简介： Weka是由新西兰怀卡托大学开发的智能分析系统（Waikato Environment for Knowledge Analysis）  。在怀卡托大学 以外的地...

2014-03-09 15:19:30

 

机器学习与数据挖掘-K最近邻(KNN)算法的实现（java和python版）

KNN算法基础思想前面文章可以参考，这里主要讲解java和python的两种简单实现，也主要是理解简单的思想。 http://blog.csdn.net/u011067360/article/details/23941577 python版本： 这里实现一个手写识别算法，这里只简单识别0~9熟悉...

2015-05-23 21:42:28

 

阅读数 7635

 

评论数 5

原 机器学习与数据挖掘-logistic回归及手写识别实例的实现

本文主要介绍logistic回归相关知识点和一个手写识别的例子实现 一、logistic回归介绍： logistic回归算法很简单，这里简单介绍一下： 1、和线性回归做一个简单的对比 下图就是一个简单的线性回归实例，简单一点就是一个线性方程表示 (就是用来描述自变量和因变量已经偏差的方程) ...

2015-05-10 21:55:15

 

阅读数 3974

 

评论数 1

原 支持向量机(SVM)（五）-- SMO算法详解

一、我们先回顾下SVM问题。 A、线性可分问题 1、SVM基本原理： SVM使用一种非线性映射，把原训练            数据映射到较高的维。在新的维上，搜索最佳分离超平面，两个类的数据总可以被超平面分开。 2、问题的提出： 3、如何选取最优的划分直线f(x...

2014-05-21 20:41:43

 

阅读数 10142

 

评论数 2

原 支持向量机（四）-- 核函数

一、核函数的引入 问题1： SVM显然是线性分类器，但数据如果根本就线性不可分怎么办？ 解决方案1： 数据在原始空间（称为输入空间）线性不可分，但是映射到高维空间（称为特征空间）后很可能就线性可分了。 问题2： 映射到高维空间同时带来一个问题：在高维空间上求解一个带约束的优化问题显然比在低维空...

2014-05-10 20:58:45

 

阅读数 3352

 

评论数 0

原 支持向量机(SVM)（三）-- 最优间隔分类器（optimal margin classifier）

在之前为了寻找最有分类器，我们提出了如下优化问题： 在这里我们可以把约束条件改写成如下： 首先我们看下面的图示： 很显然我们可以看出实线是最大间隔超平面，假设×号的是正例，圆圈的是负例。在虚线上的点和在实线上面的两个一共这三个点称作支持向量。现在我们结合KKT条件分析下这个图。 ...

2014-05-08 18:00:04

 

阅读数 2383

 

评论数 0

原 支持向量机(SVM)（二）-- 拉格朗日对偶（Lagrange duality）

简介： 1、在之前我们把要寻找最优的分割超平面的问题转化为带有一系列不等式约束的优化问题。这个最优化问题被称作原问题。我们不会直接解它，而是把它转化为对偶问题进行解决。 2、为了使问题变得易于处理，我们的方法是把目标函数和约束全部融入一个新的函数，为了使问题变得易于处理，我们的方法是把目标函数和约...

2014-05-07 16:31:07

 

阅读数 11586

 

评论数 0

原 机器学习与数据挖掘-支持向量机(SVM)（一）

最近在看斯坦福大学的机器学习的公开课，

2014-05-02 21:32:49

 

阅读数 6540

 

评论数 0

原 数据挖掘十大经典算法--CART: 分类与回归树

一、决策树的类型  在数据挖掘中，决策树主要有两种类型: 分类树 的输出是样本的类标。 回归树 的输出是一个实数 (例如房子的价格，病人呆在医院的时间等)。 术语分类和回归树 (CART) 包含了上述两种决策树, 最先由Breiman 等提出.分类树和回归树有些共同点和不同点—例如处理在何处分...

2014-05-02 13:15:16

 

阅读数 59474

 

评论数 5

原 数据挖掘十大算法--Apriori算法

一、Apriori 算法概述 Apriori 算法是一种最有影响力的挖掘布尔关联规则的频繁项集的 算法，它是由Rakesh Agrawal 和RamakrishnanSkrikant 提出的。它使用一种称作逐层搜索的迭代方法，k- 项集用于探索（k+1）- 项集。首先，找出频繁 1- 项集的集合...

2014-04-30 20:32:27

 

阅读数 13528

 

评论数 0

原 机器学习中的有监督学习，无监督学习，半监督学习

在机器学习(Machine learning)领域，主要有三类不同的学习方法： 监督学习(Supervised learning)、 非监督学习(Unsupervised learning)、 半监督学习(Semi-supervised learning)， 监督学习：通过已有的一部分输入数据与...

2014-04-29 19:57:08

 

阅读数 32666

 

评论数 4

原 数据挖掘十大算法--K-均值聚类算法

一、相异度计算  在正式讨论聚类前，我们要先弄清楚一个问题：如何定量计算两个可比较元素间的相异度。用通俗的话说，相异度就是两个东西差别有多大，例如人类与章鱼的相异度明显大于人类与黑猩猩的相异度，这是能我们直观感受到的。但是，计算机没有这种直观感受能力，我们必须对相异度在数学上进行定量定义。    ...

2014-04-24 12:16:06

 

阅读数 6433

 

评论数 4

原 数据挖掘十大经典算法（详解）

数据挖掘十大经典算法

2014-04-23 16:51:25

 

阅读数 22362

 

评论数 2

原 数据挖掘十大算法--K近邻算法

k-近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。 一、基于实例的学习。 1、已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。 从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一...

2014-04-17 17:33:01

 

阅读数 17155

 

评论数 5

原 K近邻算法基础：KD树的操作

Kd-树概念 Kd-树 其实是K-dimension tree的缩写，是对数据点在k维空间中划分的一种数据结构。其实，Kd-树是一种平衡二叉树。 举一示例： 假设有六个二维数据点 = {（2,3），（5,4），（9,6），（4,7），（8,1），（7,2）}，数据点位于二维空间中。为了能有效的找到...

2014-04-17 15:47:03

 

阅读数 4744

 

评论数 2

原 数据挖掘十大算法----EM算法（最大期望算法）

概念 在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。 最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。 可以有一...

2014-04-14 20:48:44

 

阅读数 20478

 

评论数 3

原 贝叶斯学习举例--学习分类文本

“我感兴趣的电子新闻稿”或“讨论机器学习的万维网页”。在这两种情况下，如果计算机可以精确地学习到目标概念，就可从大量在线文本文档中自动过滤出最相关的文档显示给读者。 这里描述了一个基于朴素贝叶斯分类器的文本分类的通用算法。 将要展示的朴素贝叶斯算法遵循以下的问题背景： 1、考虑实例空间X包含了...

2014-04-03 20:19:10

 

阅读数 1689

 

评论数 0

原 朴素贝叶斯分类器

贝叶斯定理 贝叶斯定理解决了现实生活里经常遇到的问题：已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。这里先解释什么是条件概率：       表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：。...

2014-04-03 19:26:27

 

阅读数 3610

 

评论数 0

原 贝叶斯学习--极大后验假设学习

我们假定学习器考虑的是定义在实例空间X上的有限的假设空间H，任务是学习某个目标概念c:X→{0,1}。如通常那样，假定给予学习器某训练样例序列〈〈x1，d1，〉…〈xm，dm〉〉，其中xi为X中的某实例，di为xi的目标函数值（即di=c(xi)）。为简化讨论，假定实例序列〈x1…xm〉是固定不变...

2014-04-03 17:13:18

 

阅读数 1983

 

评论数 0

原 贝叶斯学习--极大后验概率假设和极大似然假设

在机器学习中，通常我们感兴趣的是在给定训练数据D时，确定假设空间H中的最佳假设。 所谓最佳假设，一种办法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识条件下的最可能（most probable）假设。 贝叶斯理论提供了计算这种可能性的一种直接的方法。更精确地讲，贝叶斯法则提供了一种计...

2014-04-03 16:43:41

 

阅读数 3609

 

评论数 0

原 人工神经网络关键核心知识点

神经网络里面主要就是单层神经网络学习和多层神经网络学习，涉及到知识点主要就是感知器，线性分割，影藏层，权重校正，误差的平方和等知识点。 感知器：是神经网络最简单的形式，单层双输入感知器的结构如下： 感知器的作用是将输入分类，超平面有线性分割函数定义： 下图是感知器的线性分割：两输入感知器和...