ZJun Thinking

第一章 绪论概念机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，经验通常以数据的形式存在 假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习基本术语数据集 / 属性或特征／特征向量／维数／标签／分类／回归／聚类／监督学习／无监督学习／泛化归纳偏好任何一个有效的机器学习算

第三章 线性模型基本形式线性模型通常表示如下： f(x)=w1x1+w2x2+...+wnxn+bf(x) = w_1x_1+w_2x_2+...+w_nx_n+b 向量形式如下： f(x)=wTx+bf(x) = w^{T}x+b 线性模型形式简单，却蕴含着机器学习中的重要思想（ww直观表达了各属性在预测中的重要性），许多强大的非线性模型就是在线性模型的基础上通过引入层次结构或高

第二章 模型评估与选择模型评估方法1. 留出法（hold-out）方法：直接将数据集D划分为两个互斥的集合，训练集合S和测试集合T，在S上训练模型，用T来评估其测试误差注意：训练／测试集的划分要尽可能保持数据分布的一致性，避免因为数据划分过程引入额外的偏差而对最终结果产生影响缺点与改进：单次使用留出法得到的估计往往不够稳定可靠，在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作为

第四章 决策树基本思想决策树是基于树结构来进行决策的，这正是人类在面临决策问题时一种很自然的处理机制一般的，一颗决策树包含一个根节点、若干个内部节点和若干个叶节点；叶节点对应于决策结果，其他的每个节点则对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子节点中；根节点包含样本全集。 Wikipedia: A decision tree is a flowchart-like s

第五章 神经网络神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应M-P神经元模型思路将生物神经网络中的神经元抽象后得到经典的“M-P神经元模型”。在这个模型中，神经元接收来至n个其他神经元传递过来的输入信号 ，这些信号通过带权重的连接进行传递 ，神经元接收到总到输入值，将与神经元的阈值进行比较 ，然后通过激活函数处理以产生