去远方

（1）思想假定给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。三个基本要素是：k值的选择、距离度量和分类决策规则。（2）k值的选择在模型中，k值较小容易造成模型复杂，发生过拟合，而较大意味着欠拟合，通常采用交叉验证法来选取最优的k值。在分类决策时，采用多数表决规则，等价于经验风险最小化。（3）构造kd...

1、监督学习（1）模型由上图可知通过给定的一个训练集可以学习到一个条件概率分布或者决策函数，也就是学习到输入和输出的映射关系。而在预测过程中，可以通过模型给出相应的输出。因此根据模型的表现形式不同，可以分为概率模型和非概率模型。（2） 策略统计学习的目标在于从假设空间中选取最优模型。而损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。损失函数和风险函数...

感知机（perceptron）是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机旨在求出将训练数据进行线性划分的分离超平面，因此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机的基本原理就是逐点修正，首先在超平面上随意取一条分类面，统计分类错误的点；然后随机对某个错误点就行修正，即变换直线的位置，使该错误点得以修正；接着...

1、原理对于给定的训练数据集，首先基于特征条件独立假设学习输入、输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法通过训练数据集学习联合概率分布P（X,Y），通过学习先验概率分布和条件概率分布由于对条件概率作了条件独立性假设，因此称为朴素贝叶斯法。条件独立性假设为条件独立假设等于是说用于分类的特征在类确定的条件下...

逻辑斯蒂回归与最大熵模型都属于对数线性模型。1、二项逻辑斯蒂回归模型2、最大熵模型最大熵原理认为，学习模型时，在所有可能的概率模型中，熵最大的模型就是最好的模型。对于最大熵模型里面的特征的理解：1、仅仅对输入抽取特征，即特征函数为2、对输入和输出同时抽取特征，即特征函数为下面讲解一下如何把最大熵模型推导成logistic回归模型。最大熵模型定义了在个给定输入...