marsjhao Blog

一、经验误差与过拟合我们通常把分类错误的样本数占样本总数的比例称为“错误率”，即如果在m个样本中有a个样本分类错误，则错误率E=a/m，1-a/m称为精度，精度=1-错误率。我们把学习器的实际预测输出与样本的真实输出之间的差异称为误差，学习器在训练集上的误差称为训练误差或经验误差，在新样本上的误差称为泛化误差。当学习器把训练样本学得太好的时候，很可能已经把训练样本自身的一些特点当作了所有潜

一、聚类任务在“无监督学习”（unsupervisedlearning）中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质和规律，最常用的就是“聚类”（clustering）。聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”（cluster）。聚类过程只能自动形成簇结构，簇对应的概念语义需由使用者来把握和命名。聚类既能作为

原文地址：图文并茂的神经网络架构大盘点：从基本原理到衍生关系http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650719170&idx=1&sn=68b6b7f87677f5287b6e5a306409653b&chksm=871b07bcb06c8eaa0a649d7d3fd7963423dd4ea51b6e7711bc63653a

论文地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf中文翻译：http://blog.csdn.net/liumaolincycle/article/details/504964991. 网络结构2012年，Hinton的学生Al

论文地址：https://arxiv.org/abs/1409.1556VGGNet是牛津大学计算机视觉组（VisualGeometry Group）和GoogleDeepMind公司的研究员一起研发的的深度卷积神经网络。VGGNet探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGGNet成功地构筑了16~19层深的卷积神经网络。VGGNet

一、GoogLeNet相关论文及下载地址[v1] Going Deeper withConvolutions, 6.67% test error，2014.9论文地址：http://arxiv.org/abs/1409.4842[v2] Batch Normalization:Accelerating Deep Network Training by Reducing Internal

一、卷积神经网络的概述卷积神经网络（ConvolutionalNeural Network，CNN）最初是为解决图像识别等问题设计的，CNN现在的应用已经不限于图像和视频，也可用于时间序列信号，比如音频信号和文本数据等。CNN作为一个深度学习架构被提出的最初诉求是降低对图像数据预处理的要求，避免复杂的特征工程。在卷积神经网络中，第一个卷积层会直接接受图像像素级的输入，每一层卷积（滤波器）都会提

1. 偏差与方差的理解在训练机器学习模型时，使用不同的训练集很可能会得到不同的估计模型，估计模型随着训练集的改变而变化的程度就叫做方差variance。我们训练得到的估计模型与实际真实模型的偏差即为bias，估计与实际差距越大，bias就越高。为了得到较低的误差，需要尽可能地降低方差和偏差，然而这两者不能同时减小，在bias与variance之间存在一个权衡trade-off。低偏差的模型...

一、概述支持向量机（Support VectorMachine，SVM）的基本模型是定义在特征空间上间隔最大的线性分类器，它是一种二分类模型，当采用了适当的核技巧后，支持向量机可以用于非线性分类。（1）线性可分支持向量机（硬间隔支持向量机）：当训练数据线性可分时，通过硬间隔最大化，可以学得一个线性可分支持向量机。（2）线性支持向量机（软间隔支持向量机）：当训练数据近似线性可分时，通过软

一、概述在工程实践中，我们得到的数据会存在有缺失值、重复值等，在使用之前需要进行数据预处理。数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。数据预处理的常用流程为：去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析。二、数据预处理方法1. 去除唯一属性唯一属性通常是一些id属性，这些属性并不能刻画样本自身的分布规律，所以简单地删除这些属

11. 神经网络的数据预处理均值减法（Mean subtraction）是预处理最常用的形式。它对数据中每个独立特征减去平均值，从几何上可以理解为在每个维度上都将数据云的中心都迁移到原点。在numpy中，该操作可以通过代码X -=np.mean(X, axis=0)实现。而对于图像，更常用的是对所有像素都减去一个值，可以用X -= np.mean(X)实现，也可以在3个颜色通道上分别操作。

1. 分类器中L1和L2比较。在面对两个向量之间的差异时，L2比L1更加不能容忍这些差异，相对于1个巨大的差异，L2距离更倾向于接受多个中等程度的差异。2. k-Nearest Neighbor分类器存在以下不足分类器必须记住所有训练数据并将其存储起来，以便于未来测试数据用于比较。这在存储空间上是低效的，数据集的大小很容易就以GB计。对一个测试图像进行分类需要和所有训练图像作比较，算法

一、概述感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据线性划分的分离超平面，引入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。二、定义别被分为正、负两类，超平面S称为分

一、k近邻算法1、概述k近邻（k-NearestNeighbor，简称kNN）算法是一种常见的监督学习算法。其工作机制可概括为：给定测试样本，基于某种距离度量找出训练集中与其距离最近的k个训练样本，通常k是不大于20的整数。然后基于这k个“邻居”的类别信息来进行预测，通常使用投票法，即选择这k个样本中出现最多的类别来标记测试样本，在回归任务中可使用“平均法”，即将这k个训练样本标记的平均值

一、概述线性模型中的“线性”是一系列一次特征的线性组合，在二维空间中是一条直线，在三维空间中是一个平面，推广到n维空间可以理解为广义线性模型。常见的广义线性模型有岭回归、Lasso回归、Elastic Net、逻辑回归、线性判别分析。二、算法笔记1. 普通线性回归线性回归是一种回归分析技术，回归分析本质上就是一个函数估计问题。根据给定的数据集，定义模型和模型的损失函数，我们的目

第十章应用机器学习的建议1.决定下一步做什么（如何调整模型/机器学习诊断法）当我们运用训练好了的模型来预测未知数据的时候发现有较大的误差，我们下一步可以做什么？（括号内为针对待解决的问题）(1)获得更多的训练实例——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法（高方差）(2)尝试减少特征的数量（高方差）(3)尝试获得更多的特征（高偏差）(4

第十二章 支持向量机(SupportVector Machines)1、优化目标(OptimizationObjective)你也可以把这里的参数C考虑成 1/λ，同 1/λ 所扮演的角色相同。2、大边界的直观理解在这里，如果你加了这个样本，为了将样本用最大间距分开，也许我最终会得到一条类似这样的决策界，对么？就是这条粉色的线，仅仅基于一个异常值，仅仅基于一个样本，

一、引言监督学习(Supervised Learning)：分类问题、回归问题等。无监督学习(Unsupervised Learning）：聚类算法等。二、单变量线性回归(LinearRegression with One Variable)一种可能的表达方式为：，因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题代价函数：梯度下降其中α是学

第七章 正则化(Regularization)1.过拟合的问题正则化(regularization)的技术，它可以改善或者减少过度拟合问题。过拟合解决办法：（1）减少特征数量，人工选择或使用一些模型选择算法，例如PCA；（2）正则化，保留所有特征，但是减少参数的大小（magnitude）2.代价函数假如我们有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有

一、贝叶斯分类器详解贝叶斯分类器是一类分类算法的总称，这类算法均以贝叶斯定理为理论基础。贝叶斯分类器的分类原理是通过先验概率，利用贝叶斯公式计算出后验概率，选择最大后验概率所对应的分类结果。贝叶斯准则其中，P(c)是先验概率，P(x|c)样本x相对于；类标记c的类条件概率，或称为似然（likelihood）；P(x)是用于归一化的证据因子。对于给定样本x，证据因子与类标记无关，则估计P

Surprise，是scikit系列中的一个推荐系统算法库。官网：http://surpriselib.com/；Conda指令：https://anaconda.org/nicolashug/scikit-surprise文档：http://surprise.readthedocs.io/en/stable/一、基本模块1. 推荐算法分类可分为基于用户行为的推荐算法和基于内容...