jiaxing.Du的博客

一、什么是机器学习？机器学习就是研究如何通过计算机，利用经验来改善系统自身的性能。此外，Mitchell给出的机器学习定义是：假设用P来评估计算机程序在某类任务T上的性能，若一个程序通过利用经验E在T任务上性能获得了提高，那么说改程序对E进行了学习。二、相关概念1、数据集：例如：（色泽：乌黑，根蒂：稍蜷，敲声：沉闷），（色泽：浅白，根蒂：硬挺，敲声：清脆），......。这组记录的...

一、假设空间首先，有两个概念：归纳和演绎。简言之，归纳就是特殊推一般，演绎就是一般推特殊。机器学习是从大量样本训练，再利用测试数据进行测试。很显然，机器学习属于归纳的过程，亦称：归纳学习。以西瓜举例，西瓜成熟与否和西瓜的色泽、根蒂、敲声这三个属性有关系，色泽的属性值：乌黑、青绿。根蒂的属性值：蜷缩、硬挺。敲声的属性值：浊响、沉闷。由这三种属性值可以构成24种不同的组合，这称为假设空间。其中...

一、经验误差和过拟合1.经验误差：学习器在训练集上的误差称为“训练误差”（traing error）或“经验误差”（empirical error）。2.泛化误差：学习器在新样本上的误差称为泛化误差（generalization error）。泛化误差小的学习器是我们想要的。3、过拟合：当学习器把训练样本学的太好，很可能把训练数据的特征作为所有数据都具有的特征，这样会导致学习器在测...

一、基本流程1、一棵决策树包含一个根节点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根节点包含样本全集。从根结点到每个叶结点的路径对应了一个判定结果序列。2、决策树的基本流程：输入：训练集；属性集过程：函数TreeGenerate(D,A)(1): 生成结点node...

一、神经元模型1.神经网络的定义：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体作出交互反应。2.神经元：神经网络中最基本的成分是神经元模型。某一神经元的点位超过某一“阈值”，它会被激活，变为“兴奋”状态，向其他神经元发送化学物质。图中x1,x2...xi,xn为来自第i个神经元的输入，wi 表示第i个神经元的的权值，θ表示当前...

一、k近邻算法算法描述：输入：训练数据集 其中， 为实例的特征向量， 为实例的类别，i=1,2,...,N；实例特征向量x；输出：实例x所属的类y。（1）根据给定的距离度量，在训练集T中找出与x最邻近的k个点，包含这k个点的x邻域记作 ；（2）在中根据分类决策规则，决定x...

一.首先讲两个概念：间隔和支持向量 对于给定的训练集，分类学习的目的是在样本空间中找到一个划分超平面，将不同类别的样本分开。这个超平面可能有很多，哪个才是最好的? ...