PRML读书笔记
文章平均质量分 82
风信子的猫Redamancy
在校本科大学生 B站up小白风信子的猫Redamancy 个人博客地址: https://kedreamix.github.io/
2022第十三届蓝桥杯PythonB组省一等奖,以及国赛一等奖
2022年第十二届MathorCup高校数学建模挑战赛 研究生组 二等奖
对计算机视觉,人工智能,以及机器学习等方面感兴趣
放弃不难 但坚持一定很酷
成功的法则极为简单,但简单并不代表容易
希望自己在这条路上,不孤单,不言弃,不言败
Stay Hungry,Stay Foolish
有时候没有及时回私信等等,可以发邮件咨询,1016617094@qq.com,你们的问题我都会认真看和回答的
展开
-
PRML 2.1 二元变量
PRML 2.1 二元变量2.1.1 伯努利分布 Bernoulli考虑抛一个损坏的硬币的实验, 如果抛正面为1, 抛反面为0, 那么有如下二元随机变量x∈{0,1}x\in\{0,1\}x∈{0,1}。因为硬币是损坏的,所以抛正反面的概率不一定相同,现在我们假设抛正面的概率是μ\muμ,即x=1x=1x=1的概率为μ\muμ。因此有:p(x=1∣μ)=μp(x=0∣μ)=1−μp(x=1|\mu)=\mu p(x=0|\mu)=1-\mup(x=1∣μ)=μp(x=0∣μ)=1−μ所以xxx原创 2021-07-12 00:05:02 · 1267 阅读 · 2 评论 -
PRML - Chapter 02 Probability Distributions
PRML - Chapter 02 Probability Distributions提纲重点密度估计充分统计量高斯分布 ( 建议充分熟悉 )难点贝叶斯估计多元高斯分布指数族分布共轭分布共轭先验分布超参数学习要点密度估计 ( density estimation ) : 在给定有限次观测 x1,⋯ ,xNx_1,\cdots,x_Nx1,⋯,xN 的前提下,对随机变量 xxx 的概率分布 p(x)p ( x )p(x) 建模。参数密度估计 : 对控制概原创 2021-07-12 00:04:07 · 1155 阅读 · 0 评论 -
AI圣经 PRML《模式识别与机器学习》-读书笔记汇总贴
AI圣经 PRML《模式识别与机器学习》-读书笔记汇总贴本文章主要来记录学习《Pattern Recognition and Machine Learning》的学习笔记,主要是按照课本的内容来,按照课本的章节一节一节慢慢整理题目,包括后面一些有必要的习题,希望能互相学习,一起提高。本书为英文版,有兴趣可以去寻找pdf。目录PRML - Chapter 01: IntroductionPRML 1.1 多项式曲线拟合PRML 1.2 概率论PRML 1.3 模型选择 1.4 维度灾难PR原创 2021-07-11 14:21:58 · 1222 阅读 · 0 评论 -
PRML Chapter01 练习题Exercise
PRML Chapter01 练习题Exercise1.1我们要证明我们可以根据这个式子得到我们的www的最优解,其实也就是最小化我们的平方损失函数将1.1的多项式函数代入1.2的平方损失函数中,然后再对我们的www求导,最小化我们的函数,可得∑n=1N(∑j=0Mwjxnj−tn)xni=0\sum_{n=1}^{N}\left(\sum_{j=0}^{M} w_{j} x_{n}^{j}-t_{n}\right) x_{n}^{i}=0n=1∑N(j=0∑Mwjxnj−tn)xn原创 2021-07-11 14:12:39 · 1306 阅读 · 1 评论 -
PRML 1.6 信息论
PRML 1.6 信息论信息内容的度量以来于某个概率分布p(x)p(x)p(x)。为了表达我们接受到的信息,我们寻找一个函数h(x)h(x)h(x),它是概率p(x)p(x)p(x)的单调函数。如果我们有两个不相关的事件xxx和yyy那么我们观察到两个事件同时发生接收到的信息之和为h(x,y)=h(x)+h(y)h(x,y)=h(x)+h(y)h(x,y)=h(x)+h(y)而两个事件的概率关系:p(x,y)=p(x)p(y)p(x, y) = p(x)p(y)p(x,y)=p(x)p(y)原创 2021-07-11 00:47:58 · 1076 阅读 · 1 评论 -
PRML 1.5 决策论
PRML 1.5 决策论1.5.1 最小化错误分类率(Minimizing the misclassification rate)对监督学习中的分类问题来讲,我们需要一个“规则”,把每一个xxx分到合适的类别中去。这个“规则”会把输入空间分成不同的区域,这种区域叫做决策区域(decision region),而决策区域的边界叫做决策边界或者叫决策面。如上图所示,如果我们将属于C1C_1C1类的值分到了C2C_2C2类中,那么我们就犯了一个错误。这种发生的概率如下:p(mistake)=p(x∈原创 2021-07-10 20:09:31 · 1162 阅读 · 1 评论 -
PRML 1.3 模型选择 1.4 维度灾难
1.3 模型选择 1.4 维度灾难在我们的模型选择中,我们可以通过交叉验证的方法来训练模型。但是交叉验证的缺点也很明显,随着训练次数随“分割”的增加,训练时间也是很大的消耗。而且随着模型参数的每一次修改,这些分割的模型也会再一次修改。PRML书上还讲述了一种方法。1.3.1 AIC(赤池信息准则)赤池信息量准则(英语:Akaike information criterion,简称AIC)是评估统计模型的复杂度和衡量统计模型“拟合”资料之优良性(英语:Goodness of Fit,白话:合身的程度)的原创 2021-07-10 02:01:33 · 1156 阅读 · 2 评论 -
PRML 1.2 概率论
1.2 概率论贝叶斯概率考虑一组由参数驱动的考虑由一组参数www和观察数据DDD驱动的概率分布。根据关于www的观点,我们可以通过以下两种方式来考虑www的真值:frequentist POV频率学派: www是唯一的,但未知的,我们可以通过DDD来估计我们离www有多近bayesian POV贝叶斯: DDD是唯一的(观察到的);www是一个随机变量(可能会改变,我们将在DDD中看到它的影响)在频率型POV和贝叶斯型POV中,我们都使用了MLE P(D∣w)\mathbb{P}(D|w)P(D原创 2021-07-10 01:38:46 · 1058 阅读 · 2 评论 -
PRML 1.1 多项式曲线拟合
1.1 多项式曲线拟合输入 训练集x≡(x1,...,xN)Tx\equiv (x_1,...,x_N)^Tx≡(x1,...,xN)Tt≡(t1,...,tN)Tt\equiv (t_1,...,t_N)^Tt≡(t1,...,tN)T输出 拟合曲线1.1.1 代码import numpy as npimport matplotlib.pyplot as pltnp.random.seed(1)X = np.linspace(0, 1, 10)y = np.si原创 2021-07-10 01:17:17 · 1130 阅读 · 2 评论 -
PRML - Chapter 01: Introduction
PRML - Chapter 1: Introduction对于第一章来说,都是一些简单的介绍,是一些机器学习的基础知识,如:训练集、测试集、泛化、有监督学习、无监督学习、特征抽取等基本概念。基本知识点训练集 ( training set ) : 用来通过训练来调节模型的参数。输入变量 x\text{x}x 的 NNN 次观测组成,记作 X≡{x1,⋯ ,xN}\text{X}\equiv\{\text{x}_1,\cdots,\text{x}_N\}X≡{x1,⋯,xN}目标变量 ttt原创 2021-07-07 10:21:50 · 1069 阅读 · 0 评论