统计学习方法笔记
文章平均质量分 55
ML--小小白
实验物理phd,可能毕业去业界。。。。。学了学当今时代的浪潮之巅——AI
展开
-
《统计学习方法(第2版)》李航 第22章 无监督学习方法总结 思维导图笔记
李航老师《统计学习方法(第二版)》完结篇,最终总结。原创 2022-06-07 11:40:34 · 216 阅读 · 0 评论 -
《统计学习方法(第2版)》李航 第21章 PageRank算法 思维导图笔记 及 课后全部习题答案
思维导图:假设方阵A是随机矩阵,即其每个元素非负,每列元素之和为1,证明AkA^{k}Ak仍然是随机矩阵,其中kkk是自然数。证明:将AAA左乘一个维度匹配的全1行向量1⃗\vec{1}1,由于AAA的每列和为1,很容易得到:1⃗A=1⃗\vec{1}A=\vec{1}1A=1对上式左右两边同时右乘AAA:1⃗AA=1⃗A=1⃗\vec{1}AA=\vec{1}A=\vec{1}1AA=1A=1继续右乘可以得到:1⃗AA⋯A=1⃗Ak=1⃗\vec{1}AA\cdots A=\vec原创 2022-06-06 11:35:41 · 413 阅读 · 0 评论 -
《统计学习方法(第2版)》李航 第20章 潜在狄利克雷分配 LDA Dirichlet 思维导图笔记 及 课后全部习题答案(步骤详细, 包含吉布斯抽样算法)狄利克雷分布期望推导
思维导图:推导狄利克雷分布数学期望公式。首先写出Dirichlet分布的概率密度函数:ρ(θ)=Γ(α0)Γ(α1)⋯P(αn)∏i=1nθiαi−1\rho(\theta)=\frac{\Gamma\left(\alpha_{0}\right)}{\Gamma\left(\alpha_{1}\right) \cdots P\left(\alpha_{n}\right)} \prod_{i=1}^{n} \theta_{i}^{\alpha_{i}-1}ρ(θ)=Γ(α1)⋯P(αn)Γ(α0原创 2022-06-02 01:24:48 · 1079 阅读 · 0 评论 -
《统计学习方法(第2版)》李航 第19章 马尔可夫蒙特卡罗法 MCMC 思维导图笔记 及 课后全部习题答案(步骤详细, 包含Metropolis算法,吉布斯算法代码实现)第十九章
思维导图:19.1用蒙特卡罗积分法求:∫−∞∞x2exp(−x22)dx\int_{-\infty}^{\infty} x^{2} \exp \left(-\frac{x^{2}}{2}\right) d x∫−∞∞x2exp(−2x2)dx首先将被积函数分解为分布函数与待求期望的函数的乘积:KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲&\int_{-\inf原创 2022-05-26 21:53:41 · 1312 阅读 · 3 评论 -
《统计学习方法(第2版)》李航 第18章 概率潜在语义分析 PLSA PLSI 思维导图笔记 及 课后习题答案(步骤详细, 包含生成模型,共现模型算法推导及实现)第十八章
思维导图:18.1证明生成模型与共现模型是等价的。首先,注意到一个重要的假设,假设z给定的条件下,w与d相互是独立的,则:P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z)P(w, z \mid d)=P(z \mid d) P(w \mid z, d)=P(z \mid d) P(w \mid z)P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z)P(w,d∣z)=P(w∣d)P(d∣z)P(w, d \mid z)=P(w \mid d) P原创 2022-05-16 16:47:23 · 643 阅读 · 0 评论 -
《统计学习方法(第2版)》李航 第17章 潜在语义分析 LSA LSI 思维导图笔记 及 课后习题答案(步骤详细)第十七章
思维导图:17.1试将图17.1的例子进行潜在语义分析,并对结果进行观察。import numpy as npX = np.array([[2, 0, 0, 0], [0, 2, 0, 0], [0, 0, 1, 0], [0, 0, 2, 3], [0, 0, 0, 1], [1, 2, 2, 1]])U, Sigma, VT = np.linalg原创 2022-05-14 13:04:35 · 729 阅读 · 0 评论 -
《统计学习方法(第2版)》李航 第16章 主成分分析 PCA 思维导图笔记 及 课后习题答案(步骤详细)PCA 矩阵奇异值 第十六章
16.1对以下样本数据进行主成分分析:X=[233457245568]X = \left[\begin{array}{llllll}2 & 3 & 3 & 4 & 5 & 7 \\ 2 & 4 & 5 & 5 & 6 & 8\end{array}\right]X=[223435455678]由于手解数据不是那么“友好”所以直接用代码求解:import numpy as npX = np.array(.原创 2022-05-10 16:23:06 · 3830 阅读 · 2 评论 -
《统计学习方法(第2版)》李航 第15章 奇异值分解 SVD 思维导图笔记 及 课后习题答案(步骤详细)SVD 矩阵奇异值 十五章
15.1试求矩阵A=[120202]A=\left[\begin{array}{lll}1 & 2 & 0 \\ 2 & 0 & 2\end{array}\right]A=[122002]的奇异值分解。手算了一下结果,U=15[122−1],Σ=[300020],VT=15[53234302−1−212]U = \frac{1}{\sqrt{5}}\left[\begin{array}{ll}1 & 2 \\ 2 & -1 \end{ar原创 2022-05-07 20:55:43 · 2117 阅读 · 0 评论 -
《统计学习方法(第2版)》李航 第14章 聚类方法 思维导图笔记 及 课后习题答案(步骤详细) k-均值 层次聚类 第十四章
思维导图:14.1试写出分裂聚类算法,自上而下地对数据进行聚类,并给出其算法复杂度。i. 计算n个样本两两之间的距离,并将所有样本看作一个类,将样本间最大距离作为类直径;ii. 对于类直径最大的类,将其中相距最远,也就是距离为类直径的两个样本分成两个新类,该类其他样本就近(相对于那两个选中的样本)归于两个类之一;iii. 如果类别个数达到停止条件(预设的分类书)则停止,否则回到ii.步骤。模型复杂度O(nnmn),与聚合(agglomerative)算法复杂度相同。14.2证明类或簇的四个原创 2022-05-03 22:30:02 · 1531 阅读 · 2 评论 -
《统计学习方法(第2版)》李航 第十三章 无监督学习概论 思维导图笔记
原创 2022-05-02 18:27:09 · 311 阅读 · 0 评论 -
《统计学习方法(第2版)》李航 第十二章 监督学习方法总结 思维导图笔记
适用问题监督学习主要包括分类、标注、回归问题。标注问题是从观测序列到标记/状态序列的过程,相比二分类问题,其数目上是指数级区别。模型非概率模型,是指直接由输入X得到输出Y,或者得到输出的条件概率分布P(Y|X)的模型,对于监督学习也叫做判别模型。感知机、k近邻、支持向量机SVM、提升方法是非概率模型;概率模型首先学习联合概率密度P(X,Y),然后求出条件概率密度P(Y|X),在监督学习中称为生成模型,朴素贝叶斯法、隐马尔可夫模型是生成模型;决策树、Logistic回归与最大熵、条件随机场,既可以看..原创 2022-04-23 16:26:54 · 1016 阅读 · 0 评论 -
《统计学习方法(第2版)》李航 第十一章 条件随机场 CRF 思维导图笔记 及 课后习题答案(使用python3编写学习与概率计算算法)
思维导图习题解答11.1写出图11.3中无向图描述的概率图模型的因子分解式。P(Y1,Y2,Y3,Y4)=1Zψc1(Y1,Y2,Y3)ψc2(Y2,Y3,Y4)Z=∑Yψc1(Y1,Y2,Y3)ψc2(Y2,Y3,Y4)\begin{array}{l}P\left(Y_{1}, Y_{2}, Y_{3}, Y_{4}\right)=\frac{1}{Z} \psi_{c_{1}}\left(Y_{1}, Y_{2}, Y_{3}\right) \psi_{c_{2}}\left(Y_{2},原创 2022-04-23 00:41:54 · 866 阅读 · 0 评论 -
《统计学习方法(第2版)》李航 第十章 隐马尔可夫模型 思维导图笔记 及 课后习题答案(使用python3编写算法)
10.1import numpy as npfrom collections import CounterA = np.array([[0.5, 0.2, 0.3], [0.3, 0.5, 0.2], [0.2, 0.3, 0.5]])B = np.array([[0.5, 0.5], [0.4, 0.6], [0.7, 0.3]])pi = np.array([[0.2, 0..原创 2022-04-17 19:51:46 · 2177 阅读 · 0 评论 -
《统计学习方法(第二版)》-李航-第九章EM算法及其推广 思维导图笔记及课后练习题目答案(使用python3编写EM算法及在高斯混合模型中的应用)
第九章思维导图总结:import numpy as np9.1y = np.array([[1, 1, 0, 1, 0, 0, 1, 0, 1, 1]]).Tm = y.shape[0]theta = np.array([[0.46, 0.55, 0.67]]).T # initializationfor i in range(100): theta_old = theta.copy() q_theta = (theta[0] * theta[1] ** y * (1 -原创 2022-04-01 22:53:59 · 1139 阅读 · 0 评论 -
《统计学习方法(第2版)》李航第八章提升方法课后习题答案(使用python3编写AdaBoost算法)
习题8.1import numpy as npdata_array = np.array([[0, 1, 3], [0, 3, 1], [1, 2, 3], [1, 1, 3], [1, 2, 3], [0, 1, 2], [原创 2022-03-31 23:12:00 · 2405 阅读 · 0 评论 -
《统计学习方法(第二版)》-李航-第八章提升方法 思维导图笔记
原创 2021-12-18 14:20:09 · 301 阅读 · 0 评论 -
《统计学习方法(第二版)》-李航-第七章支持向量机 思维导图笔记
原创 2021-10-07 18:59:07 · 216 阅读 · 0 评论 -
《统计学习方法(第二版)》-李航-第六章logistc回归与最大熵模型思维导图笔记
原创 2021-09-18 23:35:43 · 215 阅读 · 0 评论 -
《统计学习方法(第2版)》李航第五章决策树课后习题5.2答案(使用python3编写,递归算法)
课后题5.2import numpy as np# 原始数据x = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])y = np.array([4.50, 4.75, 4.91, 5.34, 5.80, 7.05, 7.90, 8.23, 8.70, 9.00])# 建立简单的树类class DecisionTree(): def __init__(self, val, name, left_val, right_val): se原创 2021-08-13 00:12:36 · 1183 阅读 · 0 评论 -
《统计学习方法(第二版)》-李航-第五章决策树学习思维导图笔记
原创 2021-08-12 19:17:53 · 220 阅读 · 0 评论 -
非监督学习中经典算法(K均值,主成分分析)的sklearn代码实现,适合小白,机器学习起步
代码主要参考《python机器学习及实践》一书聚类K均值算法# 数据导入和预处理import pandas as pdimport numpy as npimport matplotlib.pyplot as pltdigits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tra', header=None)digits_test = p原创 2021-08-10 17:47:38 · 396 阅读 · 0 评论 -
监督学习中经典分类/回归模型的sklearn代码实现
代码主要参考《python机器学习及实践》一书分类学习Logistics 回归 和 SGD分类器模型import pandas as pdimport numpy as npcolumn_names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape', 'Marginal Adhesion', 'Single Epithe原创 2021-08-09 21:25:18 · 268 阅读 · 0 评论 -
《统计学习方法(第二版)》-李航-第四章学习思维导图笔记
第4章 朴素贝叶斯方法原创 2021-08-06 17:57:35 · 230 阅读 · 0 评论 -
《统计学习方法(第二版)》-李航-第三章学习思维导图笔记
原创 2021-08-04 16:53:42 · 309 阅读 · 0 评论 -
《统计学习方法(第二版)》-李航-第二章学习思维导图笔记
原创 2021-08-02 17:48:34 · 355 阅读 · 0 评论 -
《统计学习方法(第二版)》-李航-第一章学习思维导图笔记
原创 2021-08-01 23:59:49 · 271 阅读 · 0 评论