吕爽

集成学习是通过多个学习器来完成学习任务。就是结合多个学习器对样本进行学习，然后综合最后的结果做出一个决策。

最大熵模型最大熵模型由最大熵原理推导而来。最大熵原理是概率模型的学习的一个准则，最大熵原理认为，学习概率模型时，在所有概率模型中，熵最大的模型时最好的模型，通常利用约束条件来确定概率模型的集合。所以，最大熵原理也可表述为在满足约束条件的模型集合中选取熵最大的模型。

线性回归

多层感知机(MLP)由感知机推广而来，最主要的特点是有多个神经元层，因此也叫深度神经网络(DNN: Deep Neural Networks)。

激活函数

CRF条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场可以用于不同的预测问题。概率无向图模型定义概率无向图模型又称为马尔可夫随机场(Markov Random Field)，是一个可以由无向图表示的联合概率分布。图一般记作G=(V,E)G=(V,E)，其中VV表示节点，EE表示边。概

EM算法是一种迭代的算法，也可以说是一类算法的范式。概率模型中，有时候不仅存在观测变量，还可能存在隐含变量或者潜在变量。如果模型中的变量都是观测变量，那么直接使用极大似然估计或者贝叶斯估计来估计参数；当变量中含有隐变量时，就可以采用EM算法来进行能够参数的估计。EM算法主要分为两步：E步，求期望；M步，求极大。

混合高斯模型

池化方法池化操作是卷积神经网络中的一个特殊的操作，主要就是在一定的区域内提出该区域的关键信息(一个亚采样过程)。其操作往往出现在卷积层之后，它能起到减少卷积层输出的特征量数目的作用，从而能减少模型参数同时能改善过拟合现象。池化操作通过池化模板和步长两个关键变量构成。模板描述了提取信息区域的大小(size_PL)，一般是一个方形窗口；步长(stride)描述了窗口在卷积层输出特征图上的移动步长，...

LeNet是一个经典的卷积神经网络，其中结构的主要的关键部分是卷积层(Convolutional Layer)、池化层(Pooling Layer)、激活函数(Activation Function)、全连层(Full Connection Layer)、输出层(output layer)。本博文实现的是一个简单的结构，主要包含：一个卷积层，一个池化层，一个全连接层以及以1个输出层。

神经网络

本文介绍了K-means聚类算法，并注释了部分matlab实现的源码。

马尔科夫决策过程马尔科夫决策过程马尔科夫过程马尔科夫奖励过程回报（return）状态价值函数（value function）贝尔曼方程马尔科夫决策过程定义策略贝尔曼方程最优价值函数最优策略贝尔曼最优方程马尔科夫过程马尔科夫性： 系统的下一个状态St+1St+1S_{t+1}仅与当前状态有关系，而与如何之前的状态没有关系。也就是说，下...

强化学习：动态规划（DP）为什么可以使用动态规划解MDP问题？动态规划能够解决的问题通常含有两个性质： 1） 拥有最优子结构：最优解可以分解为多个子问题。 2）含有重复子问题:子问题重复了很多次，其解可以存储下来重复利用。马尔科夫决策过程满足上述两个性质： 1）贝尔曼方程给出了递归分解； 2）价值函数可以被存储及重复利用。MDP使用DP时，需要知道全部的知识，也就是说模...

空间变换网络(Spatial Transformer Network)空间变换网络(Spatial Transformer Network)空间变换器(Spatial Transformers)本文的惨开文献为：《Spatial Transformer Networks》卷积神经网络定义了一个异常强大的模型类，但在计算和参数有效的方式下仍然受限于对输入数据的空间不...

U-Net：医学图像分割U-Net：医学图像分割引言网络结构训练数据增强参考U-Net：医学图像分割引言目前来说，深度神经网络的训练需要许多已经标记好的数据样本这一个观点已经得到了广泛的认同。而如何依赖于较少量(并不是指非常少)的数据样本来更有效地进行网络的训练是一个很值得关注的问题。因此，一些常用的数据增强技巧和新型的网络结构有时候确实能起到很好的作用。U-Net正是一种这样的例子。U-...

V-Net: 医学图像分割V-Net: 医学图像分割引言网络结构训练参考V-Net: 医学图像分割引言卷积网络在计算机视觉和医学图像分析领域有了很广泛的应用。尽管卷积神经网络非常受欢迎，但大多是都是用来处理2D图像，而医学图像却大多是3D的。U-Net是一个全卷积的体数据分割神经网络。它采用端到端的训练方式，包含一个新式的目标函数用于训练时进行优化使用。同时能很好的处理背景和非背景之间的强烈...

特征选择

机器学习、深度学习、数据挖掘——问题集锦1、对偏差、方差的理解

卷积神经网络CNN

最小二乘法

聚类

支持向量机SVM

决策树

PLA:感知机学习算法

本部分解决的是机器学习模型的选择问题： 1.用什么方法来评价模型？构建验证集，考察验证集的结果。 2.用什么来度量模型的性能？多种性能度量,来衡量验证集的结果。 3.怎么来比较模型而做出现则？

半监督的关键问题是解决监督学习中未标记数据的使用问题和无监督学习中带标记数据的使用问题

规则学习

KNN:k近邻算法既可以作为分类方法也可以作为回归方法。考虑作为分类的时候，算法的输入为特征空间，输出为实例的类别。 基本思想：给定一个训练集，然后寻找其中与新输入的实例最近的k个实例，将新实例标记为k个实例中所属类别最多的一类。

过拟合与数据不平衡什么是过拟合？过拟合就是学习器对训练样本数据的学习的过于彻底，将一些训练样本的噪声或者不属于全体样本的一般特征也学习了，造成在训练样本上效果表现很好而在测试样本上表现效果非常差的一种现象。为什么会过拟合？对于数据样本，可能存在隐单元的表示不唯一，即产生分类的决策面不唯一，随着学习的进行，BP算法使权值可能收敛过于复杂的决策面。权值学习迭代次数足...

数据清洗数据清洗的目的是消除数据中的错误、冗余和数据噪音，是数据预处理中的一部分。

线性回归

贝叶斯分类器

损失函数损失函数(loss function)又称为代价函数(cost function)，是一种用来评价模型预测值和样本真实值之间的相似程度，一般为一个非负函数。损失函数的值越小，表示预测值和真实值之间相差越小，模型的性能越好。

支持向量机问题提出支持向量机的分类基本思想在给定的样本空间中寻找一个超平面将训练样本进行分割，而且能够对新样本也进行正确的分类。

FPN: 目标检测FPN: 目标检测引言FPN自下而上的路径（backbone）自上而下的路径（lateral connection）功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富...