2017年04月_marsjhao

原创机器学习算法笔记之8：聚类算法

一、聚类任务在“无监督学习”（unsupervisedlearning）中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质和规律，最常用的就是“聚类”（clustering）。聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”（cluster）。聚类过程只能自动形成簇结构，簇对应的概念语义需由使用者来把握和命名。聚类既能作为

2017-04-23 19:25:43 4516

原创机器学习算法笔记之7：模型评估与选择

一、经验误差与过拟合我们通常把分类错误的样本数占样本总数的比例称为“错误率”，即如果在m个样本中有a个样本分类错误，则错误率E=a/m，1-a/m称为精度，精度=1-错误率。我们把学习器的实际预测输出与样本的真实输出之间的差异称为误差，学习器在训练集上的误差称为训练误差或经验误差，在新样本上的误差称为泛化误差。当学习器把训练样本学得太好的时候，很可能已经把训练样本自身的一些特点当作了所有潜

2017-04-19 14:54:56 1833

原创机器学习算法笔记之6：数据预处理

一、概述在工程实践中，我们得到的数据会存在有缺失值、重复值等，在使用之前需要进行数据预处理。数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。数据预处理的常用流程为：去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析。二、数据预处理方法1. 去除唯一属性唯一属性通常是一些id属性，这些属性并不能刻画样本自身的分布规律，所以简单地删除这些属

2017-04-17 17:16:26 28176 2

原创机器学习算法笔记之5：支持向量机SVM

一、概述支持向量机（Support VectorMachine，SVM）的基本模型是定义在特征空间上间隔最大的线性分类器，它是一种二分类模型，当采用了适当的核技巧后，支持向量机可以用于非线性分类。（1）线性可分支持向量机（硬间隔支持向量机）：当训练数据线性可分时，通过硬间隔最大化，可以学得一个线性可分支持向量机。（2）线性支持向量机（软间隔支持向量机）：当训练数据近似线性可分时，通过软

2017-04-15 10:39:59 3728

原创机器学习算法笔记之4：贝叶斯分类器

一、贝叶斯分类器详解贝叶斯分类器是一类分类算法的总称，这类算法均以贝叶斯定理为理论基础。贝叶斯分类器的分类原理是通过先验概率，利用贝叶斯公式计算出后验概率，选择最大后验概率所对应的分类结果。贝叶斯准则其中，P(c)是先验概率，P(x|c)样本x相对于；类标记c的类条件概率，或称为似然（likelihood）；P(x)是用于归一化的证据因子。对于给定样本x，证据因子与类标记无关，则估计P

2017-04-04 10:13:05 12549

原创 TensorFlow上实现AutoEncoder自编码器

一、概述AutoEncoder大致是一个将数据的高维特征进行压缩降维编码，再经过相反的解码过程的一种学习方法。学习过程中通过解码得到的最终结果与原数据进行比较，通过修正权重偏置参数降低损失函数，不断提高对原数据的复原能力。学习完成后，前半段的编码过程得到结果即可代表原数据的低维“特征值”。通过学习得到的自编码器模型可以实现将高维数据压缩至所期望的维度，原理与PCA相似。二、模型

2017-04-02 09:06:41 24415 2

原创机器学习算法笔记之3：线性模型

一、概述线性模型中的“线性”是一系列一次特征的线性组合，在二维空间中是一条直线，在三维空间中是一个平面，推广到n维空间可以理解为广义线性模型。常见的广义线性模型有岭回归、Lasso回归、Elastic Net、逻辑回归、线性判别分析。二、算法笔记1. 普通线性回归线性回归是一种回归分析技术，回归分析本质上就是一个函数估计问题。根据给定的数据集，定义模型和模型的损失函数，我们的目

2017-04-01 16:25:32 2295

marsjhao Blog