qq_26928055的博客

原创 关于卷积神经网络中的“输入通道”和“输出通道”的概念

下图引自：https://segmentfault.com/q/1010000016667038用比较精炼的话概括就是：输入通道指的是输入了几个二维信息，也就是很直观的rgb图有r，g，b三个通道，这决定了卷积核的通道数，即输入图像的通道数决定了卷积核通道数；（图片中，第一列有三个矩阵，也就是输入通道为3，所以后面，第二列和第三列，也就是两个卷积核，它们也都有三个矩阵，即卷积核数目也为3。）输出通道是指卷积（关联）运算之后的输出通道数目，它决定了有几个卷积核，即需要输出通道数为几，就需要几个卷积

原创 《机器学习》（周志华） 第6章 支持向量 学习心得 笔记

支持向量机（Support Vector Machine，SVM）的主要目的就是在特征空间中找到距离正反例最远的分离超平面，由于是“最远”因此与上一章感知机里初值敏感，由误分类点修正最后得到的“初值敏感”的超平面不同，对于线性可分的（linearly separable）数据集，SVM确定的分离超平面是唯一的，超平面上的点可以用“平面”方程表示：wTx+b=0\boldsymbol{w}^{\mathrm{T}} \boldsymbol{x}+b=0wTx+b=0而任意样本x\boldsymbol{

原创 《机器学习》（周志华） 第5章 神经网络 学习心得 笔记

神经元（neuron，亦称unit）其实就是一个小型的分类器，其将从其他神经元输入的信息带权重连接进入，然后比较其与阈值的相对大小，并将差异通过激活函数（activationfunction），决定其是否被”激活“/”兴奋“。这种神经元的抽象模型1943年就被提出了，被两位提出者名字首字母命名为”M-P神经元模型“。最常使用的激活函数为Sigmoid（亦称squashing）函数。...

原创 《机器学习》（周志华） 第4章 决策树 学习心得 笔记

主要是一个递归过程。

原创 《机器学习》（周志华） 第3章 线性模型 学习心得 笔记

线性模型是试图学习通过样本属性/特征的线性构成的假设函数的模型。f(x)=w1​x1​+w2​x2​+…+wd​xd​+bf(x)=wTx+b线性模型是机器学习中基础的模型，很多非线性模型无非是在线性模型基础上引入层级结构或者高维映射而得到。...

原创 《机器学习》（周志华）第2章 模型选择与评估 笔记 学习心得

误分类样本占总样本的比例正确分类样本数与总样本数的比；等于1减去第一行表示真实的正例，第二行表示真实的反例；第一列表示模型预测的正例，第二列表示模型预测的反例。真实正例，且被模型判为正例。混淆矩阵的元素。真实正例，但被模型误判为反例。混淆矩阵的元素。真实反例，但被模型误判为正例。混淆矩阵的元素。真实反例，且被模型判为反例。混淆矩阵的元素。以信息检索为例，就是“检索出的信息中有多少比例是用户真正感兴趣的”，或者说检索出的正例中，有多少是真正的正例。P=TPTP+FPP = \frac{TP}{TP +

原创 《机器学习》（周志华）第一章 绪论 笔记 学习心得

由于我之前已经学过了李航老师的《统计学习方法（第2版）》，所以这里面的概念没有啥不懂得，不会像教程说的有些难，毕竟学过一部分了。而且，这本书确实比李航老师涵盖的可能更广些，从绪论可见一斑。其中的可以说拓展了我的知识面，之前只是认为，有了假设（模型），有了损失函数，去优化求的最小的损失就可以了，但是其实一直忽略了一个更重要的，更高一层的东西，假设空间里学习到的最终的模型，其实是有他自己的“偏好”的，只是恰好有些偏好的模型，更能够得到我们更好的训练以及范化结果。特别是，这里提到了NFL（No Free Lunc

原创 一张图学《计算机组成原理（硬件篇）》 思维导图 计算机组成

通过学习哈工大刘宏伟老师的计算机组成原理（上）总结而来

原创 《统计学习方法（第2版）》李航 第22章 无监督学习方法总结 思维导图笔记

李航老师《统计学习方法（第二版）》完结篇，最终总结。

原创 《统计学习方法（第2版）》李航 第21章 PageRank算法 思维导图笔记 及 课后全部习题答案

思维导图：假设方阵A是随机矩阵，即其每个元素非负，每列元素之和为1，证明AkA^{k}Ak仍然是随机矩阵，其中kkk是自然数。证明：将AAA左乘一个维度匹配的全1行向量1⃗\vec{1}1，由于AAA的每列和为1，很容易得到：1⃗A=1⃗\vec{1}A=\vec{1}1A=1对上式左右两边同时右乘AAA：1⃗AA=1⃗A=1⃗\vec{1}AA=\vec{1}A=\vec{1}1AA=1A=1继续右乘可以得到：1⃗AA⋯A=1⃗Ak=1⃗\vec{1}AA\cdots A=\vec

原创 《统计学习方法（第2版）》李航 第20章 潜在狄利克雷分配 LDA Dirichlet 思维导图笔记 及 课后全部习题答案（步骤详细， 包含吉布斯抽样算法）狄利克雷分布期望推导

思维导图：推导狄利克雷分布数学期望公式。首先写出Dirichlet分布的概率密度函数：ρ(θ)=Γ(α0)Γ(α1)⋯P(αn)∏i=1nθiαi−1\rho(\theta)=\frac{\Gamma\left(\alpha_{0}\right)}{\Gamma\left(\alpha_{1}\right) \cdots P\left(\alpha_{n}\right)} \prod_{i=1}^{n} \theta_{i}^{\alpha_{i}-1}ρ(θ)=Γ(α1​)⋯P(αn​)Γ(α0​

原创 IPython cheatsheet

1. 使用命令历史IPython 维护了一个小的磁盘数据库，包含执行的每条命令的文本。不同于notebook，其每个代码单元都会记录输入和输出。1.1 搜索和复用命令历史可以利用上下键，向上向下搜索已经执行的命令，可以键入部分开头的命令来搜索。# 演示在命令行的操作1 + 12%run /Users/hhh/Documents/CS/利用python进行数据分析/test.pyhello word!2 + 35# 命令行中，上翻是2+3，再上翻是%run。。。，可以先键入%

原创 Numpy cheatsheet

1. ndarray 对象内幕import numpy as npnp.ones((3, 4, 5), dtype=np.float64).strides(160, 40, 8)反映了在不同轴上遍历的步长，可见每个np.float64的长度是8Byte=64bit。跨度大的轴的计算代价更高。np.ones((3, 4, 5), dtype=np.float32).strides(80, 20, 4)np.ones((3, 4, 5), dtype=np.uint16).strides

原创 《统计学习方法（第2版）》李航 第19章 马尔可夫蒙特卡罗法 MCMC 思维导图笔记 及 课后全部习题答案（步骤详细， 包含Metropolis算法，吉布斯算法代码实现）第十九章

思维导图：19.1用蒙特卡罗积分法求：∫−∞∞x2exp⁡(−x22)dx\int_{-\infty}^{\infty} x^{2} \exp \left(-\frac{x^{2}}{2}\right) d x∫−∞∞​x2exp(−2x2​)dx首先将被积函数分解为分布函数与待求期望的函数的乘积：KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲&\int_{-\inf

原创 《统计学习方法（第2版）》李航 第18章 概率潜在语义分析 PLSA PLSI 思维导图笔记 及 课后习题答案（步骤详细， 包含生成模型，共现模型算法推导及实现）第十八章

思维导图：18.1证明生成模型与共现模型是等价的。首先，注意到一个重要的假设，假设z给定的条件下，w与d相互是独立的，则：P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z)P(w, z \mid d)=P(z \mid d) P(w \mid z, d)=P(z \mid d) P(w \mid z)P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z)P(w,d∣z)=P(w∣d)P(d∣z)P(w, d \mid z)=P(w \mid d) P

原创 Numpy数组广播规则记忆方法 array broadcast 广播原理 广播机制

本文重点在文字描述部分，代码看看就好,如果我的这种方法对您有点点帮助，麻烦点个小赞😄，如果有更好的方法，或发现我的错误，请不吝赐教🙏首先，其实数组与标量间的运算其实是一种先广播，后element-wise的运算import numpy as nparr = np.arange(5)arrarray([0, 1, 2, 3, 4])arr * 4array([ 0, 4, 8, 12, 16])广播的规则是每个末尾维度，轴长匹配或者长度是1，广播会在丢失的轴，比如(4, 3) +

原创 《统计学习方法（第2版）》李航 第17章 潜在语义分析 LSA LSI 思维导图笔记 及 课后习题答案（步骤详细）第十七章

思维导图：17.1试将图17.1的例子进行潜在语义分析，并对结果进行观察。import numpy as npX = np.array([[2, 0, 0, 0], [0, 2, 0, 0], [0, 0, 1, 0], [0, 0, 2, 3], [0, 0, 0, 1], [1, 2, 2, 1]])U, Sigma, VT = np.linalg

原创 《统计学习方法（第2版）》李航 第16章 主成分分析 PCA 思维导图笔记 及 课后习题答案（步骤详细）PCA 矩阵奇异值 第十六章

16.1对以下样本数据进行主成分分析：X=[233457245568]X = \left[\begin{array}{llllll}2 & 3 & 3 & 4 & 5 & 7 \\ 2 & 4 & 5 & 5 & 6 & 8\end{array}\right]X=[22​34​35​45​56​78​]由于手解数据不是那么“友好”所以直接用代码求解：import numpy as npX = np.array(.

原创 《统计学习方法（第2版）》李航 第15章 奇异值分解 SVD 思维导图笔记 及 课后习题答案（步骤详细）SVD 矩阵奇异值 十五章

15.1试求矩阵A=[120202]A=\left[\begin{array}{lll}1 & 2 & 0 \\ 2 & 0 & 2\end{array}\right]A=[12​20​02​]的奇异值分解。手算了一下结果，U=15[122−1],Σ=[300020],VT=15[53234302−1−212]U = \frac{1}{\sqrt{5}}\left[\begin{array}{ll}1 & 2 \\ 2 & -1 \end{ar

原创 《统计学习方法（第2版）》李航 第14章 聚类方法 思维导图笔记 及 课后习题答案（步骤详细） k-均值 层次聚类 第十四章

思维导图：14.1试写出分裂聚类算法，自上而下地对数据进行聚类，并给出其算法复杂度。i. 计算n个样本两两之间的距离，并将所有样本看作一个类，将样本间最大距离作为类直径；ii. 对于类直径最大的类，将其中相距最远，也就是距离为类直径的两个样本分成两个新类，该类其他样本就近（相对于那两个选中的样本）归于两个类之一；iii. 如果类别个数达到停止条件（预设的分类书）则停止，否则回到ii.步骤。模型复杂度O(nnmn),与聚合（agglomerative）算法复杂度相同。14.2证明类或簇的四个

原创 《统计学习方法（第2版）》李航 第十三章 无监督学习概论 思维导图笔记

原创 CS229 吴恩达机器学习 习题大作业答案 problem sets 04 PS04（第6题，欢迎指教）强化学习 Reinforcement Learning MDP 马尔可夫决策

6. Reinforcement Learning: The inverted pendulum首先写出simulator（作业中已提供，直接复制过来）：import matplotlib.pyplot as pltimport matplotlib.patches as patchesfrom math import sin, cos, piclass CartPole: def __init__(self, physics): self.physics = physi

原创 CS229 吴恩达机器学习 习题大作业答案 problem sets 04 PS04（第2,3,4,5题，欢迎指教）非策略评估和因果推断 PCA 主成分分析 ICA 独立成分分析 MDP 马尔可夫决策

2. Off Policy Evaluation And Causal Inference注意：本节的代码输出结果，特别是那个语音分解，ICA方法，在我账号上传的资源中可以找到(a). Importance Sampling这个很容易证明，直接将π^0=π0\hat{\pi}_{0}=\pi_{0}π^0​=π0​代入即可：Es∼p(s)a∼π0(s,a)π1(s,a)π^0(s,a)R(s,a)=Es∼p(s)a∼π0(s,a)π1(s,a)π0(s,a)R(s,a)=∑(s,a)π1(s,a)π

原创 CS229 吴恩达机器学习 习题大作业答案 problem sets 04 PS04（第一问，欢迎指教）Neural Networks: MNIST image classification

1. Neural Networks: MNIST image classificationimport numpy as npimport matplotlib.pyplot as pltimport mathMAX_POOL_SIZE = 5CONVOLUTION_SIZE = 4CONVOLUTION_FILTERS = 2def forward_softmax(x): """ Compute softmax function for a single example

原创 【下】CS229 吴恩达机器学习 习题作业答案 problem sets 03 PS03（全部问题解答，欢迎各位前辈指教）EM算法 K均值聚类 半监督学习

K均值聚类

原创 【中】CS229 吴恩达机器学习 习题作业答案 problem sets 03 PS03（全部问题解答，欢迎各位前辈指教）4题有一问有个问题不知有没有人解答一下 EM算法 K均值聚类

EM算法 半监督学习

原创 【上】CS229 吴恩达机器学习 习题作业答案 problem sets 03 PS03（全部问题解答，欢迎各位前辈指教）

EM算法 K均值聚类 高斯混合模型

原创 《统计学习方法（第2版）》李航 第十二章 监督学习方法总结 思维导图笔记

适用问题监督学习主要包括分类、标注、回归问题。标注问题是从观测序列到标记/状态序列的过程，相比二分类问题，其数目上是指数级区别。模型非概率模型，是指直接由输入X得到输出Y，或者得到输出的条件概率分布P（Y｜X）的模型，对于监督学习也叫做判别模型。感知机、k近邻、支持向量机SVM、提升方法是非概率模型；概率模型首先学习联合概率密度P（X，Y），然后求出条件概率密度P（Y｜X），在监督学习中称为生成模型，朴素贝叶斯法、隐马尔可夫模型是生成模型；决策树、Logistic回归与最大熵、条件随机场，既可以看..

原创 《统计学习方法（第2版）》李航 第十一章 条件随机场 CRF 思维导图笔记 及 课后习题答案（使用python3编写学习与概率计算算法）

思维导图习题解答11.1写出图11.3中无向图描述的概率图模型的因子分解式。P(Y1,Y2,Y3,Y4)=1Zψc1(Y1,Y2,Y3)ψc2(Y2,Y3,Y4)Z=∑Yψc1(Y1,Y2,Y3)ψc2(Y2,Y3,Y4)\begin{array}{l}P\left(Y_{1}, Y_{2}, Y_{3}, Y_{4}\right)=\frac{1}{Z} \psi_{c_{1}}\left(Y_{1}, Y_{2}, Y_{3}\right) \psi_{c_{2}}\left(Y_{2},

原创 《统计学习方法（第2版）》李航 第十章 隐马尔可夫模型 思维导图笔记 及 课后习题答案（使用python3编写算法）

10.1import numpy as npfrom collections import CounterA = np.array([[0.5, 0.2, 0.3], [0.3, 0.5, 0.2], [0.2, 0.3, 0.5]])B = np.array([[0.5, 0.5], [0.4, 0.6], [0.7, 0.3]])pi = np.array([[0.2, 0..

原创 《统计学习方法（第二版）》-李航-第九章EM算法及其推广 思维导图笔记及课后练习题目答案（使用python3编写EM算法及在高斯混合模型中的应用）

第九章思维导图总结：import numpy as np9.1y = np.array([[1, 1, 0, 1, 0, 0, 1, 0, 1, 1]]).Tm = y.shape[0]theta = np.array([[0.46, 0.55, 0.67]]).T # initializationfor i in range(100): theta_old = theta.copy() q_theta = (theta[0] * theta[1] ** y * (1 -

原创 《统计学习方法（第2版）》李航第八章提升方法课后习题答案（使用python3编写AdaBoost算法）

习题8.1import numpy as npdata_array = np.array([[0, 1, 3], [0, 3, 1], [1, 2, 3], [1, 1, 3], [1, 2, 3], [0, 1, 2], [

原创 CS229 吴恩达机器学习 习题答案 problem sets 02（全部问题，欢迎各位前辈指教）

01aimport numpy as npimport src.util as utildef calc_grad(X, Y, theta): """Compute the gradient of the loss with respect to theta.""" m, n = X.shape margins = Y * X.dot(theta) probs = 1. / (1 + np.exp(margins)) grad = -(1./m) * (X.

原创 CS229 吴恩达机器学习 习题答案 problem sets 01 （代码题目部分，欢迎各位前辈指教）

p01b_logregimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport osplt.rcdefaults()# import util# from linear_model import LinearModeldef main(train_path, eval_path, pred_path): """Problem 1(b): Logistic regression with

原创 《统计学习方法（第二版）》-李航-第八章提升方法 思维导图笔记

原创 Mac teiminal中cd打开中文文件夹的方法

现在上层文件夹中利用ls查看文件，然后看需要打开的文件是第几个，比如（第17个）：cd `ls | awk 'NR = 17'`注意 `. 和 ' 号

原创 《统计学习方法（第二版）》-李航-第七章支持向量机 思维导图笔记

转载 笔记：jupyter notebook中matplotlib的几个魔术命令

在notebook中使用plt绘图共有三种模式：%matplotlib inline：这是默认的模式，输出的图片是静态的%matplotlib auto：在这个模式下会弹出一个单独 的绘图窗口，和在pycharm中一样%matplotlib notebook：在这个模式下会在notebook中产生一个绘图窗口，能够对图片进行放大缩小等操作。有时候修改完没有变化，重启notebook就好了...

原创 《统计学习方法（第二版）》-李航-第六章logistc回归与最大熵模型思维导图笔记

原创 《统计学习方法（第2版）》李航第五章决策树课后习题5.2答案（使用python3编写，递归算法）

课后题5.2import numpy as np# 原始数据x = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])y = np.array([4.50, 4.75, 4.91, 5.34, 5.80, 7.05, 7.90, 8.23, 8.70, 9.00])# 建立简单的树类class DecisionTree(): def __init__(self, val, name, left_val, right_val): se