统计学习方法
本专栏为李航所著《统计学习方法-第2版》的读书笔记,记录学习过程中的难点,便于日后回顾
MYRLibra
中国科学院信息工程研究所·硕士
展开
-
阅读目录
统计学习方法的基本概念感知机(一)朴素贝叶斯法(一)朴素贝叶斯法(二)课后习题答案汇总原创 2019-09-13 12:13:32 · 507 阅读 · 0 评论 -
统计学习方法总结
摘自《统计学习方法.李航》感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法是分类方法,原始的感知机、支持向量机以及提升方法是针对二类分类的,可以将他们扩展到多类分类。感知机、k近邻法、朴素贝叶斯法、决策树是简单的分类方法,具有模型直观、方法简单、实现容易等特点。逻辑斯谛回归与最大熵模型、支持向量机、提升方法是更复杂但更有效的分类方法,往往分类准确率更高。隐马尔科夫模型、条件随机场是主要的标注方法,通常条件随机场的标注准确率更高。...原创 2021-01-06 20:40:24 · 170 阅读 · 0 评论 -
统计学习方法的基本概念
李航《统计学习方法》读书笔记基本概念定义统计学习是关于计算机基于数据构建 概率统计模型 并运用模型对数据进行预测与分析的一门学科,也称为统计机器学习。可以用随机变量描述数据中的特征,用概率分布描述数据的统计规律。现在普遍提及的机器学习,往往是指统计机器学习。统计学习由监督学习、非监督学习、半监督学习和强化学习等组成。监督学习:从标注数据中学习非监督学习:从无标注数据中学习半...原创 2019-07-30 16:55:26 · 235 阅读 · 0 评论 -
朴素贝叶斯法(一)——原理篇
文章目录一、原理二、例题三、代码一、原理模型朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。根据贝叶斯定理,得后验概率(*)P(Y∣X)=P(X,Y)P(X)=P(Y)P(X∣Y)∑YP(Y)P(X∣Y)P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(Y)P(X|Y)}{\sum\limits_YP(Y)P(X|Y)}\tag{*}P(Y∣X)=P(X)...原创 2019-08-07 20:01:50 · 336 阅读 · 0 评论 -
朴素贝叶斯法(二)——Python实现篇
简介笔者自己编写的代码封装在naive_bayes.py中,详见详见原理篇,也可在github下载源码。在scikit-learn包中提供了三种常用的朴素贝叶斯算法下文实验中用的是高斯朴素贝叶斯,主要应用于数值型特征另外两种为多项式朴素贝叶斯、伯努利朴素贝叶斯,主要应用于文本分类from sklearn.naive_bayes import GaussianNBfrom sklearn...原创 2019-08-08 11:27:42 · 355 阅读 · 0 评论 -
感知机(一)——原理篇
判别模型线性分类模型文章目录一、原理模型策略算法一、原理模型感知机是根据输入实例的特征向量xxx对其进行二类分类的线性分类模型,由输入空间到输出空间的函数为:(*)f(x)=sign(w⋅x+b)f(x)=sign(w·x+b)\tag{*}f(x)=sign(w⋅x+b)(*)其中www和bbb为感知机模型参数,www称作权值或权值向量,bbb称作偏置;w⋅xw·xw⋅x表示...原创 2019-09-11 16:42:29 · 292 阅读 · 0 评论 -
感知机(二)——Python实现篇
例题原始形式'''感知机算法的原始形式eta_为步长/学习率,一般设为1'''import numpy as npclass perceptron: def __init__(self,eta_=1): self.eta_=eta_ def fit(self,x_data,y_data): global w,b...原创 2019-09-28 09:47:44 · 266 阅读 · 0 评论 -
决策树(一)——原理篇
模型分类决策树模型是一种基于特征对实例进行分类的树形结构。决策树由结点和有向边组成。结点有内部结点和叶结点两种类型,内部结点表示一个特征或属性,叶结点表示一个类。可以将决策树看成一个if-then规则的集合。由决策树的根节点到叶结点的每一条路径构建一条规则;路径上内部结点的特征对应着规则的条件,而叶结点的类对应着规则的结论。也可以将决策树看作是定义在特征空间划分上的类的条件概率分布。将特征空...原创 2019-10-19 11:18:37 · 677 阅读 · 0 评论 -
决策树(二)——Python实现篇
较为复杂,待续……参考文献决策树算法及其Python实现决策树原理实例treePlotter模块原创 2019-11-01 10:56:21 · 242 阅读 · 0 评论 -
k近邻法——原理篇
k近邻法是一种基本分类与回归方法,书中只讨论了分类问题的k近邻法。文章目录一、模型二、策略(一)k值的选择(二)距离度量(三)分类决策规则三、算法一、模型k近邻模型对应于特征空间的划分,由k值的选择、距离度量及分类决策规则三个基本要素决定。二、策略(一)k值的选择k值的选择反映了对近似误差与估计误差之间的权衡,通常由交叉验证选择最优的k。k值小时,近似误差较小,估计误差较大,模型...原创 2019-11-01 20:49:23 · 753 阅读 · 0 评论 -
极大似然估计与贝叶斯估计
《概率论》条件概率:P(B∣A)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}P(B∣A)=P(A)P(AB)乘法公式:P(AB)=P(A)P(B∣A)P(AB)=P(A)P(B|A)P(AB)=P(A)P(B∣A)全概率公式:P(A)=∑i=1nP(ABi)=∑i=1nP(Bi)P(A∣Bi)P(A)=\sum\limits_{i=1}^nP(AB_i)=\sum...原创 2019-07-31 20:15:44 · 264 阅读 · 0 评论 -
第1章课后习题
参考链接:https://blog.csdn.net/familyshizhouna/article/details/70160782伯努利模型:定义在取值为0与1的随机变量上的概率分布。统计学习方法三要素:模型、策略、算法。统计学分为两派:经典统计学派和贝叶斯统计学派。经典统计学派认为模型已定,参数未知,参数是固定的,只是还不知道;贝叶斯统计学派是通过观察到的现象对概率分布中的...原创 2019-07-30 17:36:10 · 365 阅读 · 0 评论 -
课后习题答案汇总
第1章https://blog.csdn.net/MYRLibra/article/details/97801370第4章习题4.1习题4.24.1可结合第1章习题的推导结果通用公式:θ=kn\theta=\frac{k}{n}θ=nk \quad 其中kkk是指符合预期结果的样本数目,nnn是指总的样本容量实际问题中的参数取值:k=∑i=1NI(yi=ck), n...原创 2019-08-08 17:27:25 · 783 阅读 · 0 评论