Zerokas的博客

课程名称：Machine Learning作者：Andrew Ng（吴恩达） 中文： http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B 英文： http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=MachineLear

1. 引言AI时代，机器学习算法成为了研究、应用的热点。当前，最火的两类算法莫过于神经网络算法（CNN、RNN、LSTM等）与树形算法（随机森林、GBDT、XGBoost等），树形算法的基础就是决策树。决策树因其易理解、易构建、速度快的特性，被广泛应用于统计学、数据挖掘、机器学习领域。因此，对决...

PAC learning 到底在做什么？ 30分钟了解PAC学习理论——计算学习理论第一讲

Orange,RapidMiner,Weka,JHepWork,KNIM,五个免费开源的数据挖掘软件

参考： ROC和AUC介绍以及如何计算AUC 多分类下的ROC曲线和AUCROC曲线首先ROC分析的是二元分类模型，也就是输出类别只有两种值的分类模型。对于其他的多类分类模型可以做相应的转换，本文后面再作分析。ROC曲线的特点：ROC曲线的横轴是False postive rate，纵轴是True positive rate一个特定分类模型在一个测试数据集上只会得到一个FP...

我上学的时候使用的教材是Bayesian Data Analysis, Andrew Gelman编写的。个人觉得这本还挺易懂的，它从什么是贝叶斯推断(bayesian inference)开始讲起，到基础贝叶斯分析，再讲到高阶贝叶斯分析(引入马尔可夫链等)，给人以循循善诱的感觉。贝叶斯方面的书应该不少，你可以去亚马逊首页搜索栏，输入bayesian，就得到很多结果(呵呵，授人以鱼不如授人以渔...

朴素贝叶斯理论推导与三种常见模型

1.使用numpy.loadtxt2.解决Arff格式的方案参考.arff files with scikit-learn? & LIAC-ARFF v2.1使用scipy.io.arff.loadarfffrom scipy.io import arffdataset=arff.loadarff("D:/res/weather.nominal.arff")...

reference: scikit-learn决策树算法类库使用小结from itertools import productimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsfrom sklearn.tree import DecisionTreeClassifier# ...

最早的决策树算法是由Hunt等人于1966年提出，Hunt算法是许多决策树算法的基础，包括ID3、C4.5和CART等，本文以Hunt算法为例介绍决策树算发的基本思想及决策树的一些设计问题。Hunt算法Hunt算法通过将训练记录相继划分为较纯的子集，以递归方式建立决策树。设Dt是与结点t相关联的训练记录集，而y = { y1, y2, …, yc}为类标号，Hunt算法的递归定义如下： ...

LIAC-ARFF v2.1 Documentimport arffdataset=arff.load(open("D:/res/weather.numeric.arff"))In [12]: datasetOut[12]:{'attributes': [('outlook', ['sunny', 'overcast', 'rainy' ('temperature', 'NUM...

http://blog.csdn.net/baimafujinji/article/details/53269040算法步骤CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出的...

假设空间(hypothesis space)机器学习中可能的函数构成的空间称为“假设空间”。 监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间。假设空间的确定意味着学习范围的确定。data point A data point or observation is a set...

周志华教授的两门机器学习公开课是很好的机器学习资源。但在上海交大的公开课视频网站上挂出的教学视频顺序有点乱。对于初学者来说，如果没看对顺序的话，会觉得讲得很乱，从而错过这么优质的资源。事实上板书很完整，有电子版讲义可下载。只是讲义上有个别地方有点笔误，但不影响理解。能用黑板直接推导的...

原文：http://machinelearningmastery.com/parametric-and-nonparametric-machine-learning-algorithms/ 作者：Jason Brownlee 翻译：AI梦蝶译者注：这篇文章中主要介绍了参数和非参的一些机器学习模型的区别。  一个参数机...

VC维的来龙去脉Computational Learning Theory - VC Dimension 这篇文章中有几个重要的链接要仔细看一下