机器学习
T Lai
如果一切能重来
展开
-
第七章 贝叶斯分类器
1、贝叶斯决策论:是在概率框架下实施决策的基本方法。对于分类任务来说,在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择的类别标记。2、贝叶斯分类准则:为最小化总体风险,只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记;3、朴素贝叶斯分类器:(1)为了降低贝叶斯公式中估计后验概率P(c| x)的困难,朴素贝叶斯分类器采用属性条件独立性假设,但在现...原创 2019-11-19 20:48:50 · 253 阅读 · 0 评论 -
第八章 集成学习
8.1 个体与集成(1)集成学习: 通过构建并结合多个学习器来完成学习任务,有时也被称作多分类器系统或者基于委员会的学习等。(2)一般结构: 先产生一组“个体学习器”,再用某种策略将他们结合起来。个体学习器通常由一个现有的学习算法从训练中产生,如:C4.5决策树算法、BP神经网络算法等。(3)在基学习器的误差相互独立的假设下:集成学习中,随着集成中个体分类器数目T的增大,集成的错误率将指数级...原创 2019-11-19 20:46:12 · 286 阅读 · 0 评论 -
第十一章 特征选择与稀疏学习
11.1子集搜索与评价 1、特征选择:我们将属性称为“特征”,对当前学习任务有用的特征称为“相关特征”、没有什么用的属性称为“无关特征”。从给定集合中选择出相关特征子集的过程,称为“特征选择”。 2、在机器学习任务中,先进行特征选择,再训练学习器的原因:(1)我们在现实任务中经常会遇到维数灾难问题,这是由于属性过多而造成的,若能从中选出重要特征,使得后续学习过程仅需在一部分特征上构建模型,...原创 2019-11-07 16:06:34 · 275 阅读 · 0 评论 -
第十章 降维与度量学习
10.1 K近邻学习&k-近邻学习方法:10.2 低维嵌入10.3 主成分分析10.4 核化线性降为10.5 流形学习10.6 度量学习参考文献:《机器学习》周志华原创 2019-11-19 20:45:30 · 157 阅读 · 0 评论 -
第九章 聚类
9.1 聚类任务聚类是试图将数据集中的样本划分为若干个通常是不相交的子集,每个子集称为一个“簇”。通过这样的划分,每个簇可能对应于一些潜在的概念(类别)。但是这些概念对聚类算法而言事先是未知的,聚类过程仅能自动形成簇结构,簇所对应的概念语义需要由使用者来把握和命名。聚类算法涉及的两个基本的问题:性能度量和距离计算9.2 性能度量聚类性能度量大致有两类。一类是将聚类结果与某个“参考模型...原创 2019-10-23 21:20:40 · 710 阅读 · 0 评论 -
第四章 决策树
决策树: 理解: 根节点包含样本全集。 其他每个节点对应一个测试属性。 叶子节点对应决策结果。 决策树的构建方法: (1)生成节点 (2)判断D中样本是否全部属于同一类别C,若属于则将节点标记为 该类叶子节点,然后返回。 (3)判断属性A集合是否为空或则D样本在A...原创 2019-11-19 20:49:33 · 372 阅读 · 0 评论 -
第三章 线性模型
对于线性模型的理解: 线性模型试图学得一个通过属性的线性组合来预测的函数,本章主要介绍了三种线性模型: 回归任务的线性模型、二分类任务的线性模型、多分类任务的线性模型。1、回归任务的线性模型 (1)对于输入属性数目只有一个的 基于均方误差最小化的最小二乘法来求解,即找到一条直线,使得所有样本到直线上的 欧式距离之和最小。即求的这条直线的W,...原创 2019-11-19 20:50:10 · 201 阅读 · 0 评论 -
第五章 神经网络和误差逆传播法算法(BP)的推导
一、神经网络 神经网络由大量的神经元相互连接而成。神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重进行传递,当某个神经元接收到的总输入值与该神经元的阈值进行比较,然后通过激活函数处理产生神经元的输出。每个神经元接受线性组合的输入后,最开始只是简单的线性加权,后来给每个神经元加上了非线性的激活函数,从而进行非线性变换后输出。每两个神经元之间的连接代表加权值,称之...原创 2019-11-19 20:48:01 · 1715 阅读 · 0 评论