总结:机器学习之基本术语

一、数据集

要进行机器学习,首先得有数据。 数据集 是一组关于研究对象的描述。

如一条条告警消息就是数据集,每条告警消息是一个样本。

二、样本

样本也叫示例,一组样本组成一个数据集。

三、属性

样本会有很多属性(或特征),如告警消息的触发器,分组,分类等,属性对应的值叫属性值。

四、属性空间

属性空间也叫样本空间,或输入空间。

假设告警消息有触发器,分组,分类,告警级别四个属性,每个属性一个坐标轴,那么四个属性可以组成一个四维空间,每条告警消息都可以在这个空间中找到自己的坐标位置。

五、特征向量

每个示例在空间中的坐标向量

六、 输入空间

一个样本所有特征的集合

七、

  • D = { x 1 → , x 2 → , ⋯ , x m → } ​ D={x1→,x2→,⋯,xm→}​ :包含 m 个样本的数据集
  • x i → = ( x i 1 ; x i 2 ; ⋯ ; x i d ) xi→=(xi1;xi2;⋯;xid) : d d 维样本空间 χ χ 中的一个向量, x i → ∈ χ
  • x i j xij : x i → xi→ 在第 j j 个属性上的取值,后期可能会用 X ⃗ X→ 展示
  • d d : x i → ​ xi→​ 的“维数 dimensionlity”

八、

  • 学习 learning/训练 training:从数据中学得模型的过程
  • 训练数据 training data:训练过程中使用的数据
  • 训练样本 training sample:训练中的每个样本
  • 假设 hypothesis:学习模型对应了关于数据某种潜在的规律
  • 真相/真实 ground-truth:潜在规律自身
  • 学习器 learner:模型
  • 预测 prediction:获得训练样本的“结果”信息
  • 标记 label:样本结果的信息
  • 样例 example:拥有标记信息的样本
  • ( x i , y i ) ​ (xi,yi)​ :第 i ​ i​ 个样例, y i ∈ Y ⃗ ​ yi∈Y→​ 是示例 x i ​ xi​ 的标记, Y ⃗ ​ Y→​ 是所有标记的集合
  • 标记空间 label space/输出空间:所有标记的集合

监督学习 supervised learning

  • 分类 classification:预测结果是离散值的学习任务

  • 回归 regression:预测结果是连续值的学习任务

  • 二分类 binary calssification:涉及两个类别

  • 正类 positive class 和 反类 negative class:“二分类”中的两个类别

  • 多分类 multi-class classification:涉及多个类别

  • 预测任务:对训练集 { ( x 1 → , y 1 ) , ( x 2 → , y 2 ) , ⋯ , ( x m → , y m ) } {(x1→,y1),(x2→,y2),⋯,(xm→,ym)} 进行学习,建立一个从输入空间 X ⃗ X→ 到 输出空间 Y ⃗ Y→ 的映射 f : X ⃗ → Y ⃗ f:X→→Y→ ,通常令 Y ⃗ = { − 1 , + 1 } Y→={−1,+1} 或 { 0 , 1 } {0,1} ;对于多分类任务, | Y ⃗ | > 2 |Y→|>2 ;对回归任务, | Y ⃗ | = R |Y→|=R , R R 为实数集

  • 测试 testing:对学得模型进行预测的过程

  • 测试样本 testing sample:被预测的样本,例如学得 f f 后,对测试例 x ⃗ x→ ,可得到其预测标记 y = f ( x ) y=f(x)


无监督学习 unsupervised learning

  • 聚类 clustering:将训练集中的西瓜分成若干组
  • 簇 cluster:“聚类”中的每一组。每一簇都可能对应一些潜在的概念划分并且这些概念我们事先是不知道的

进阶

  • 泛化 generalization:学得模型适用于新样本的能力
  • 分布 distribution D D :通常假设样本空间中全体服从一个未知“分布”
  • 独立同分布 independent and identically distributed i . i . d . i.i.d. :每个样本都是独立地从这个分布上采样获得的

假设空间

  • 科学推理的两大基本手段:归纳 induction 与 演绎 deduction
  • 归纳:从特殊到一般的“泛化 generalization”过程,即从具体的事实归结出一般性规律
  • 演绎:从一般到特殊的“特化 specialization”过程,即从基础原理推演出具体状况
  • 归纳学习 inductive learning:从样例中学习
  • 广义归纳学习:相当于从样例中学习
  • 狭义归纳学习:从训练数据中学得概念,因此也称为“概念学习”或“概念形成”
  • 布尔概念学习:对“是”“不是”这样的可表示为0/1布尔值的目标概念的学习
  • 学习过程:在所有假设组成的空间中进行搜索的过程,搜索目标是找到与训练集“匹配 fit”的假设,
  • 假设空间:能将训练集中的样本判断为正确的假设的集合
  • 版本空间 version space:一个与训练集一致的“假设集合”

归纳偏好

“版本空间”中可能有多个假设对应训练集中的某个样本,但是多个假设可能有不同的输出,那么应该采用哪一个模型(或假设)呢?

  • 归纳偏好 inductive bias:算法在学习过程中对某种类型假设的偏好
  • 如果没有归纳偏好:学得模型预测时时而告诉我们它是好的,时而告诉我们它是不好的
  • 奥卡姆剃刀 Ocam’s razor:若有多个假设与观察一致,则选最简单的那个
  • “没有免费的午餐”定理 No Free Lunch Theorem:无论学习算法 a a 多聪明、学习算法 b b 多笨拙,它们的期望性能都会相同。
  • NFL 定理前提:所有“问题”出现的机会相同、或所有问题同等重要
  • NFL 定理最重要的寓意:空泛的谈“什么学习算法更好毫无意义”,因为若考虑所有潜在的问题,则学习算法都一样好
  • 噪声:出现不应该出现的数据,例如相同的属性得出不一样的分类

机器学习研究的主要内容:在计算机中从数据中产生“模型 model”的算法,即“学习算法 learning algorithm”。

计算机科学研究“算法”;机器学习研究“学习算法”。

大多数时候算法的归纳偏好是否与问题本身匹配,直接决定了算法能否取得好的性能。

参考:

机器学习绪论

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本书内容分为八个部分。共20章,分上、下两册,每册10章。各章均有大量习题。本书给出了大量的实际例子,这些例子涉及众多的学科和实际领域,但又不过于专门,容易理解。在大部分章节中都使用实例未引入主题,并把统计概念和这些非常实际的问题联系在一起进行讲解,深入浅出,从而可以避免许多人对统计所抱有的粗浅的感性认识,即认为统计仅仅是另一门数学课程。作者把统计数据的收集与分析过程总结成"四步法",并把"四步法"的讲解贯穿始终,利用实例逐步展开并阐明在设计调查研究或试验时所需要的统计技术和思路,然后讲解用直观、有效的"四步法"来收集并分析数据,非常利于初学者和实际工作人员抓住有关统计方法和模型的本质。书中提供了多种多样的图示,如正态概率图、盒形图、散点图、矩阵图和残差图等,通过这些图,读者可以一方面理解数据的特点和概括数据的方法,--方面进一步理解有关统计方法的基本思想和特点。作者很重视统计在解决实际问题中的作用,在全书中用许多篇幅讨论如何解释数据分析的结果,并专门用一章讲述了如何写数据分析报告。 本书适用于作为我国文科各专业的统计学引论教程。以及理工科各专业应用统计学课程的教材或教学参考书;也可作为有关方面实际工作人员的统计入门书。阅读本书不需要其他统计方面的基础,也不需要高等数学知识。 目录: 序言 第一部分引论 第一章什么是统计 1.1引言 1.2为什么学习统计 1.3当前统计的一些应用 1.4统计学家做什么 1.5质量和工序改进 1.6学生注意 1.7小结 补充练习 第二部分收集数据 第二章利用调查和科学研究来收集数据- 2.1引言 2.2调查 2.3科学研究 2.4观察研究 2.5数据整理:为概括和分析准备数据 2.6小结 第三部分概括数据 3.1引言 3.2计算器、计算机及软件系统 3.3单个变量数据的描述:图表法 3.4单个变量数据的描述:中心趋势的度量 3.5单个变虽数据的描述:变异性度量 3.6盒形图 3.7多变量数据的概括 3.8小结 重要公式 补充练习 第四部分工具和概念 第四章概率和概率分布 4.1如何应用概率进行推断 4.2确定一个事件的概率 4.3基本的事件关系和概率法则 4.4条件概率和独立性 4.5Bayes公式 4.6离散变最和连续变量 4.7离散随机变量的概率分布 4.8一个常用的离散随机变量:二项分布 4.9连续随机变量的概率分布 4.10一个常用的连续随机变量:正态分布 4.11随机抽样 4.12抽样分布 4.13二项分布的正态逼近 4.14Minitab指令 4.15小结 重要公式 补充练习 第五部分数据分析:中心值方差和比例 第五章关于总体中心值的推断 5.1引言和案例 5.2μ的估计 5.3估计μ时样本容量的选取 5.4关于μ的统计检验 5.5对于进行检验时样本容量的选取 5.6统计检验的显著性水十 5.7正态总体均值p的统计推断。未知 5.8关于中位数的推断 5.9小结 重要公式 补充练习 第六章两总体中心值的比较 6.1引言和案例 6.2关于μ1-μ2的推断:独立样本 6.3非参数推断方法:Wilcoxon秩和检验 6.4关于μ1-μ2的推断:成对数据 6.5非参数推断方法:Wilcoxon符号秩检验 6.6惟断μ1-μ2时样本容量的选取 6.7小结 重要公式 补充练习 第七章关于总体方差的推断 7.1引言和案例 7.2单个总体方差的估计和检验 7.3比较两个总体方差时的估计和检验 7.4比较多个总体方差时的检验 7.5小结 重要公式 补充练习 第八章两个以上总体的中心值的推断 8.1引言和案例 8.2两个以上总体均值的统计检验:方差分析 8.3完全随机化设计中观测值的模型 8.4方差分析条件的检查 8.5其他的分析方法:数据变换 8.6另一种非参数方法:Kruskal-Wallis检验 8.7小结 重要公式 补充练习 第九章多重比较 9.1引言和案例 9.2线性对照 9.3控制哪个错误率 9.4Fisher(费舍尔)最小显著差异法 9.5Tukey的W方法 9.6Student-Newman-Keuls方法 9.7Dunnett方法:处理组与对照组的比较 9.8Scheffe的S方法 9.9小结 重要公式 补充练习 第十章类型数据 10.1引言和案例 10.2总体比例π的推断 10.3两总体比例之差π1-π2的推断 10.4多比例的推断:卡方拟合优度检验 10.5Pokmn(泊松)分布- 10.6列联表:独立性检验和齐性检验 10.7柏关程度的度量 10.8几率和优比 10.9小结 重要公式 补充练习 第六部分数据分析:回归方法和模型的建立 第十一章线性回归和相关 11.1引言和案例 11.2估计模型中的参数 11.3回归参数的推断 11.4利用同归预测新的y值 11.5线性回归中拟合不足的考察 11.6逆回归问题(校准) 11.7相关 11.8小结 重要公式 补充练习 第十二章多元回归与一般线性模型 12.1引言和案例 12.2一般线性模型 12.3估计多元回归系数 12.4多元回归中的推断 12.5回归系数子集的检验 12.6用多元回归进行的预测 12.7比较几条回归线的斜率 12.8Logistic回归 12.9多元回归的一些理论结果(任选) 12.10小结 重要公式 补充练习 第十三章多元回归续论 13.1引言和案例 13.2变量的挑选(第一步) I3.3模型形式的确定(第二步) 13.4模型假设的检查(第三步) 13.5小结 重要公式 补充练习 第七部分试验设计与方差分析 第十四章试验和研究的设计概念 14.1引言 14.2研究的类型 14.3设计的试验:术语 14.4控制试验误差 14.5试验单元对处理的随机化 14.6确定重复试验的次数 14.7小结 第十五章标准设计的方差分析 15.1引言和案例 15.2单因子的完全随机化设计 15.3随机化完全区组设计 15.4拉丁方设计 15.5完全随机化设计中的因子处理结构 15.6随机化完全区组设计中的因子处理结构 15.7处理差异的估计和处理均值的比较 15.8小结 重要公式 补充练习 第十六章协方差分析 16.1引言和案例 16.2具有一个协变量的完全随机化设计 16.3外推问题 16.4多维协变量和更复杂的设计 16.5小结 补充练习 第十七章一些固定效应、随机效应和混合效应模型的方差分析 17.1引言和案例 17.2具有随机处理效应的单因子试验:随机效应模型 17.3随机效应模型的扩充 17.4混合效应模型 17.5计算期望均方的规则 17.6套抽样和裂区设计 17.7小结 补充练习 第十八章重复测量与交叉设计 18.1引言和案例 18.2有重复观测的单因子试验 18.3一个因子有重复观测的两因子试验 18.4交叉设计 18.5小结 补充练习 第十九章一些非平衡设计的方差分析 19.1引言和案例 19.2有一个或多个缺失观察值的随机化区组设计 19.3有缺失数据的拉丁方设计 19.4平衡不完全区组(BIB)设计 19.5小结 重要公式 补充练习 第二十章分析结果的传达和备案 20.1引言 20.2做好传达沟通工作所面临的困难 20.3传达的障碍:图形的歪曲 20.4传达的障碍:有偏抽样 20.5传达的障碍:样本容量 20.6为统计分析准备数据 20.7统计分析的指导原则和报告 20.8文档和结果的保存 20.9小结 补充练习 附录统计表 参考文献 索引 译后记

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值