Jipon

1 决策树的构造在构造决策树之前，我们需要解决的第一个问题就是当前数据集上哪个特征在划分数据集上起决定性作用。为了划分出最好的效果，我们必须评估每个特征。一般的划分数据采用二分法，而本文采用ID3算法划分数据集上面的表包含了5个海洋生物的数据，两个特征以及把这些动物分成鱼类和非鱼类，现在我们决定是依据第一个特征还是第二个特征来划分数据。2. 信息增益

欠拟合与过拟合概念本次课程大纲：1、  局部加权回归：线性回归的变化版本2、  概率解释：另一种可能的对于线性回归的解释3、  Logistic回归：基于2的一个分类算法4、  感知器算法：对于3的延伸，简要讲 复习： –第i个训练样本令，以参数向量为条件，对于输入x，输出为：n为特征数量 

本文是《统计学方法》第九章自己的笔记，为了更方便的理解，本文对转载的文章内容稍作修改。EM算法的每次迭代由两部分组成：E步，求期望；M步，求极大。所以这一算法称之为期望极大算法，简称EM算法。EM算法的引入介绍一个使用EM算法的例子：三硬币模型有ABC三枚硬币，单次投掷出现正面的概率分别为π、p、q。利用这三枚硬币进行如下实验：1、第一次先投掷A，若出现

一、什么是感知机感知机1957年由Rosenblatt提出，是神经网络与支持向量机的基础。感知机是二类分类的线性分类模型，其输入实例为实例的特征向量，输出为实例的类别，取+1和-1二值。二 感知机模型定义假设输入空间是，输出空间是，x和y分属这两个空间，那么由输入空间到输出空间的如下函数：称为感知机。其中，w和b称为感知机模型参数，叫做权值或权值

k近邻算法给定一个训练数据集，对新的输入实例，在训练数据集中找到跟它最近的k个实例，根据这k个实例的类判断它自己的类（一般采用多数表决的方法）。k近邻模型模型有3个要素——距离度量方法、k值的选择和分类决策规则。模型当3要素确定的时候，对任何实例（训练或输入），它所属的类都是确定的，相当于将特征空间分为一些子空间。距离度量

一、简介分类与回归树CART (Ciassification and Regression Trees)是分类数据挖掘算法的一种。CART是在给定输入随机变量X条件下输出随机变量Y的条件分布概率。该模型使用了二叉树将预测空间递归划分为若干子集，Y在这些子集的分布是连续均匀的。树中的叶节点对应着划分的不同区域，划分是由与每个内部节点相关的分支规则(Spitting Rules)确定的。通过从

1、逻辑回归本着学习的原则，搜集了各方面的资料来进行一下逻辑回归的总结。首先说下什么是逻辑回归，逻辑回归和线性回归一样，都是回归中常见的算法。那么什么是回归呢，它和分类有什么区别呢？逻辑回归是分类还是回归呢？首先说下什么是回归，比如有在二维平面上一系列的点，例如(x1,y1),(x2,y2)..等等，然后让你从这些点中拟合一条曲线，然后通过拟合的曲线来计算未知的数据，比如再给你一个x，你就能很