机器学习
River_J777
小白白白白
展开
-
机器学习 小白Python学习笔记(一) ———— 第一章 绪论 & 第二章 模型评估与选择
机器学习 小白Python学习笔记(一)——第一章 绪论 & 第二章 模型评估与选择写在最前第一章 绪论 & 第二章 模型评估与选择写在最前博主是统计专业本科在读,之前利用一个学期的时间粗略地学习机器学习一遍,了解了书中知识理论的基本情况。准备申请机器学习相关专业的研究生,无奈第一遍的学习太过于浮于表面,于是决定回锅学习第二遍!这一遍的重点将放在对算法流程的理解与Python的实现,希望通过这一遍的学习之后,能够独立搭建起相关算法的框架。概括地说,就是一个小白学习Python实现机器原创 2020-12-22 16:02:43 · 458 阅读 · 0 评论 -
最大后验估计MAP
最大后验估计MAP是最常用的几个参数点估计之一,基本原理由贝叶斯定理而来,先看贝叶斯公式:P(θ∣x)=P(x∣θ)P(θ)P(x)P\left(\theta \mid \boldsymbol x\right)=\frac{P\left(\boldsymbol x \mid \theta\right) P\left(\theta\right)}{P(\boldsymbol x)}P(θ∣x)=P(x)P(x∣θ)P(θ)其中,我们将P(θ)P\left(\theta\right)P(θ)称为先验概原创 2020-12-21 22:05:01 · 580 阅读 · 0 评论 -
交叉验证——ESL chapter7.10
交叉验证交叉验证是估计预测误差最简单且广泛使用的方法。通常情况下,我们的数据量都是不足够多的,如果在本来就不多的数据集中再划分出一部分作为验证集,那可供学习的数据就更少了。为了解决这一问题,K-折交叉验证将数据集分成容量大致相等的K个部分,如下图:对于第kkk(k=1,2,⋯ ,Kk=1,2,\cdots,Kk=1,2,⋯,K)部分,我们首先用 其他K-1个部分的数据对学习器进行训练,再预测第kkk部分数据时计算预测误差。依次通过k=1,2,⋯ ,Kk=1,2,\cdots,Kk=1,2,⋯,K循原创 2020-10-15 21:41:29 · 785 阅读 · 0 评论 -
《机器学习》 小白Python学习笔记(十三) ———— 集成学习 课后题8.3&8.5 Python实现
《机器学习》 小白Python学习笔记(十三) ———— 集成学习 课后题8.3&8.5 Python实现8.3从网上下载或自己编程实现AdaBoost,以不剪枝决策树为基学习器,在西瓜数据集3.0a上训练一个AdaBoost集成,并与图8.4进行比较。8.5试编程实现Bagging,以决策树桩为基学习器,在西瓜数据集3.0a上训练一个Bagging集成,并与图8.6进行比较。自己手动编写的代码还没有写好(后补),先利用scikit-learn库对西瓜数据集3.0a进行bagging和bo原创 2020-09-09 19:40:41 · 1095 阅读 · 2 评论 -
《机器学习》小白Python学习笔记(十二) ————第八章集成学习
《机器学习》小白Python学习笔记(十二) ————第八章 集成学习BaggingBootstrap SampleBoostingStacking集成学习(ensemble learning)是通过构建并结合多个学习器来完成学习任务。其思路是通过合并多个模型来提升机器学习性能,这种方法相较于单个模型通常能获得更好的效果。一般的说,根据目的和功能分类,集成学习有三种:bagging 通常用于减小方差boosting 通常用于减小偏差stacking 通常用于提升预测结果根据模型组成结构分类有两原创 2020-08-24 01:57:48 · 407 阅读 · 0 评论 -
《机器学习》 小白Python学习笔记(十一) ———— 朴素贝叶斯 & 半朴素贝叶斯AODE分类器 Python实现
《机器学习》 小白Python学习笔记(十) ———— 贝叶斯算法 & EM算法 Python实现课后题数据集朴素贝叶斯算法代码半朴素贝叶斯(AODE)分类器代码课后题试编程实现拉普拉斯修正的朴素贝叶斯分类器和半朴素贝叶斯分类器中的AODE分类器,并以⻄瓜数据集3.0为训练集,对P.151“测1”样本进⾏判别。数据集编号 色泽 根蒂 敲声 纹理 脐部 触感 密度 含糖率 好瓜0 1 青绿 蜷缩 浊响 清晰 凹陷 硬滑 0.697 0.460原创 2020-08-05 20:03:36 · 1379 阅读 · 0 评论 -
《机器学习》 小白Python学习笔记(十) ————EM算法
《机器学习》 小白Python学习笔记(十) ————EM算法简介算法原理算法流程简介作为数据挖掘十大算法之一的EM算法的全称是Expectation Maximization Algorithm,也就是期望最大算法,算法包括两个步骤,首先是期望步(E步),然后是极大步(M步)。EM算法最初是为了解决在样本数据集中出现缺失值时进行参数估计的问题。基本思路是:首先根据已经给出的观测数据,估计出模型参数的值,然后再根据上一步估计出的参数值估计出数据中的缺失值,然后再根据原有数据和估计的缺失值对模型参数进行原创 2020-08-01 02:29:28 · 339 阅读 · 0 评论 -
《机器学习》 小白Python学习笔记(九) ————第七章 贝叶斯分类器
《机器学习》小白Python学习笔记(一) ————第七章 贝叶斯分类器引言贝叶斯决策论基于最小风险的贝叶斯决策基于最小错误率的贝叶斯决策朴素贝叶斯分类器半朴素贝叶斯分类器引言说到贝叶斯分类器,必然离不开的是贝叶斯公式:P(Bi∣A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj),i=1,2,⋯ ,nP\left(B_{i} \mid A\right)=\frac{P\left(A \mid B_{i}\right) P\left(B_{i}\right)}{\sum_{j=1}^{n原创 2020-07-30 16:40:55 · 544 阅读 · 0 评论 -
(周志华《机器学习》西瓜书 小白Python学习笔记(八) ———— 第六章 支持向量机SVM LIBSVM实现以及结果解读(课后题6.2)
周志华《机器学习》西瓜书 小白Python学习笔记(八) ———— 第六章 支持向量机LIBSVM实现原创 2020-07-20 18:19:08 · 1342 阅读 · 1 评论 -
周志华《机器学习》西瓜书 小白Python学习笔记(七) ———— 第六章 支持向量机SVM
周志华《机器学习》西瓜书 小白Python学习笔记(七) ———— 第六章 支持向量机SVM什么是SVMSVM求解过程转化为Lagrange对偶问题Lagrange对偶问题求解1.minw,bL(w,b,α)\min _{\boldsymbol{w}, b} L(\boldsymbol{w}, b, \boldsymbol{\alpha})minw,bL(w,b,α)2. maxαi{minw,bL(w,b,α)}\max_{\alpha_i}\{\min _{\boldsymbol{w},原创 2020-07-19 12:48:23 · 662 阅读 · 2 评论 -
周志华《机器学习》西瓜书 小白Python学习笔记(六) ———— 第五章 神经网络 课后习题5.5 python实现 pytorch
周志华《机器学习》西瓜书 小白Python学习笔记(六) ———— 第五章 神经网络 python代码 pytorch伪代码手工搭建Pytorch 搭建作为神经网络中最为广泛使用的BP神经网络,本文使用西瓜数据集3.0(课后题5.5)通过手工和Pytorch两种方式搭建BP神经网络。伪代码输入: 训练集 D={(xk,yk)}k=1mD=\left\{\left(\boldsymbol{x}_{k}, \boldsymbol{y}_{k}\right)\right\}_{k=1}^{m}D={(x原创 2020-07-06 13:30:23 · 2003 阅读 · 2 评论 -
周志华《机器学习》西瓜书 小白Python学习笔记(五) ———— 第五章 神经网络
现占坑原创 2020-06-26 10:01:00 · 1394 阅读 · 2 评论 -
周志华《机器学习》西瓜书 小白Python学习笔记(四) ———— 第四章 决策树 python代码 预剪枝
周志华《机器学习》西瓜书 小白Python学习笔记(三) ———— 第四章 决策树 python代码 预剪枝基于西瓜数据集2.0(提取码:esa8),选择信息增益作为属性选择指标,建立决策树。步骤如下:输入离散变量的取值集合与标签,并读取数据.D_keys = { '色泽': ['青绿', '乌黑', '浅白'], '根蒂': ['蜷缩', '硬挺', '稍蜷'],...原创 2020-05-04 16:14:49 · 1322 阅读 · 1 评论 -
周志华《机器学习》西瓜书 小白Python学习笔记(三) ———— 第四章 决策树
周志华《机器学习》西瓜书 小白Python学习笔记(三)——第四章 决策树引入最优划分属性1.信息增益2.增益率3.基尼指数剪枝特殊属性处理算法流程引入所谓决策树,就是根据树结构来进行决策。举个例子,小明的妈妈去上海人民公园相亲角为儿子物色相亲对象,广场上数百名适婚年龄男女的家长自发来到这里,手里拿着自家孩子的基本资料。小明妈为了选到一个理想的儿媳妇,在看到其他人手中的基本资料后,根据自己内...原创 2020-04-27 13:59:25 · 869 阅读 · 0 评论 -
【超详细!】周志华《机器学习》西瓜书 小白Python学习笔记(二)————第三章 线性模型 (对数几率回归)附课后题3.3详解
【超详细!】周志华《机器学习》西瓜书 小白Python学习笔记(二)——第三章 线性模型 (对数几率回归)附:课后题3.3详解回顾与前言第三章 线性模型对数几率回归课后习题3.3回顾与前言在上一篇博客中,我们通过小明习得“买瓜秘笈”的故事了解了机器学习的大概流程以及一些相应的基本术语。在接下来的文章中,我们将开始学习具体的机器学习算法啦!学习什么知识模型都是一个从简到难的过程。很多时候未知的...原创 2020-04-13 20:10:07 · 2811 阅读 · 1 评论