《机器学习》周志华读书笔记
南梦倾寒
一个专心研究二相箔的男生
展开
-
《机器学习》周志华读书笔记(一)绪论
什么是机器学习?[Mitchell,1997]:假设用P来评估计算机程序在某任务类T上的性能,若一个程序通过利用经验E在T中任务上获得了性能改善,则我们就说关于T和P,该程序对E进行了学习。全文第1章绪论部分重点介绍了机器学习中的【1】基本术语;【2】假设空间;【3】归纳偏好;【4】发展历程与现状【1】基本术语以一批西瓜为例(估计这就是西瓜书的由来):(色泽 = 青绿;根...原创 2019-06-04 20:55:40 · 417 阅读 · 0 评论 -
《机器学习》周志华读书笔记(四)决策树(下)
注:本文为https://blog.csdn.net/qq_38172282/article/details/91360640(文章)的下半部分,从4.4连续与缺失值开始讲起。4.4连续与缺失值4.4.1连续值处理 如果学习任务中遇到连续属性,由于连续属性的可取值数目不再有限,若每个取值作为一个分支则显得不可行(总不能划分成无数个分支吧),因此需要进行离散化处理,常...原创 2019-06-12 15:01:10 · 397 阅读 · 0 评论 -
《机器学习》周志华读书笔记(二)模型评估与选择(上)
2.1经验误差与过拟合设在m个样本中有a个样本分类错误错误率(error rata):分类错误的样本数占样本总数的比例,即E=a/m精度(accuracy):精度 = 1 - 错误率误差(error):学习器的实际预测输出与样本的真实输出之间的差异训练误差/经验误差(training/empirical error):学习器在训练集上的误差泛化误差(generalizati...原创 2019-06-05 10:30:13 · 783 阅读 · 0 评论 -
《机器学习》周志华读书笔记(二)模型评估与选择(下)
本篇文章紧接《《机器学习》周志华读书笔记(二)模型评估与选择(上)》,内容为2.3.3ROC与AUC开始讲起2.3.3ROC与AUCROC全程“受试者工作特征”(Receiver Operating Characteristic)曲线,又称接受者操作特征曲线。该曲线最早应用于雷达信号检测领域,用于区分信号与噪声。后来人们将其用于评价模型的预测能力,ROC曲线是基于混淆矩阵得出的。ROC...原创 2019-06-06 10:17:39 · 692 阅读 · 0 评论 -
《机器学习》周志华读书笔记(三)线性模型(上)
3.1基本形式设由d个属性描述的示例,其中是在第个属性上的取值线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数。其简单,易于建模,且有很好的解释性。一般向量形式表示为,其中,和 b 学得后,模型即确立。强大的非线性模型可以在线性模型的基础上通过引入层次结构或高维映射而得。3.2线性回归先从简单的情况进行分析,即...原创 2019-06-06 15:32:00 · 306 阅读 · 0 评论 -
《机器学习》周志华读书笔记(三)线性模型(下)
本篇文章紧接《《机器学习》周志华读书笔记(三)线性模型(上)》,内容为3.4线性判别分析开始讲起3.4线性判别分析线性判别分析(Linear Discriminant Analysis ,LDA):一种经典的线性学习法(经典的监督降维技术),其思想非常朴素:给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近,不同样例的投影点尽量远离。上图所示为LDA二维示意...原创 2019-06-07 10:11:44 · 345 阅读 · 0 评论 -
《机器学习》周志华读书笔记(四)决策树(上)
4.1基本流程决策树(decision tree):一种常见的机器学习方法仍然以西瓜为例,才用决策树的方法,我们怎么样才能分辨这个西瓜是好瓜呢?我们处理事情一般只看最终结果,显然决策的过程的最终结论对应的也是我们希望的判定结果。一般的,一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;书上讲的比较模糊,下面我来总结一下根节点:包含所有样本(各种各样的瓜)内部节点:...原创 2019-06-10 09:33:58 · 766 阅读 · 0 评论 -
《机器学习》周志华读书笔记(五)神经网络
本文的宗旨:简单!清楚!五、神经网络5.1神经元模型下图为M-P神经元模型,想象一下,一张考试卷子,卷子中的每一道题作为一个神经元的输入进入你的大脑,而每道题的分值代表着这道题的权重,你的大脑经过一系列的分析,分析出了先做哪道题,这就是一个简单的神经网络。而你是通过输出y来计算出你要先做哪道题。我们注意到图中输出y=f(。。。)那么这里面f(x)是什么函数呢?答案是激活函数...原创 2019-06-15 12:48:00 · 497 阅读 · 0 评论 -
《机器学习》周志华读书笔记(六)支持向量机
本文的宗旨:简单!清楚!六、支持向量机6.1间隔与支持向量找出最好的划分方法,我们需要找出一个平面,使的值最大,这就是SVM想要做的事情!当我们求出下面两个公式!“s.t.”,指 subject to,受限制于...。6.2对偶问题SVM基本型是一个带约束的凸二次规划(convex quadratic programming)问题(凸问题就意味着必定能求到全局最优...原创 2019-09-08 19:30:15 · 346 阅读 · 0 评论