葫芦书笔记
沃·夏澈德
今天的明天是后天的昨天。----茨鲍勒·程德
展开
-
葫芦书笔记----生成模型
图去书里看。生成模型生成模型就是要让机器找到产生数据的概率分布P(x)P(x)P(x).变分自编码器基础知识###简述VAE的基本思想,以及它时如何用变分推断方法进行训练的?详细:自编码器(AE):标准的AE由编码器和解码器两部分组成,整个模型可以看作一个“压缩”与“解压”的过程。(关于AE的详细介绍后面会有)图变分自编码器(VAE)假设数据xix_ixi由一个随机过程产生,该随机过程分为两步:先由先验分布Pθ∗(z)P_{\theta^*}(z)Pθ∗(z)产生隐藏变量ziz_izi原创 2020-10-29 15:47:31 · 287 阅读 · 1 评论 -
葫芦书笔记----CNN和RNN
卷积神经网络卷积基本知识卷积与全理解层的区别速记:局部连接;权值共享;输入/输出数据结构化详细:局部连接:卷积核尺寸远小于输入特征图的尺寸。权值共享:卷积核的滑动窗机制,使得输出层上不同未知的节点与输入层的连接权值都是一样的(即卷积核参数)。输入/输出数据结构化:局部连接和权值共享,使得剪辑操作能够在输出数据中大致保持输入数据的结构信息。卷积神经网络的基础模块批归一化为了解决什么问题?他的参数有何意义?他在网络中一般放在什么位置?速记:解决内部协变量偏移问题。激活层.原创 2020-10-28 09:43:55 · 247 阅读 · 0 评论 -
葫芦书笔记----集成学习
集成学习集成学习是一大类模型融合策略和方法的统称。集成学习的种类集成学习分哪几种?它们有何异同?速记:Boosting(串行);Bagging(并行)详细:BoostingBoosting方法训练基分类器时采用串行的方式,各个基分类器之间有依赖。它的基本思路为:将及分类器层层叠加,每一层在训练的时候,对前一层基分类器分错的样本,给予更高的权重。测试时,根据每层分类器的结果的加权的稻草最终结果。BasggingBagging方法在训练过程中,各基分类器之间无强依赖,可以原创 2020-10-26 21:15:58 · 184 阅读 · 0 评论 -
葫芦书笔记----循环神经网络(RNN)
循环神经网络循环神经网络(RNN)是用来建模序列化数据的一种主流深度学习模型。##循环神经网络和卷积神经网络速记:循环圣经网络可以很好地处理文本数据变长并且有序的输入序列详细:RNN可以将前面阅读到的有用信息编码到状态变量中去,从而拥有了一定的记忆能力,可以更好地理解之后的文本。RNN的前向传播公式nett=Uxt+Wht−1net_t=Ux_t+Wh_{t-1}nett=Uxt+Wht−1ht=f(nett)h_t=f(net_t)ht=f(nett)y=g(VhT)y原创 2020-10-23 16:04:28 · 373 阅读 · 0 评论 -
葫芦书笔记----前向神经网络
前向神经网络多层感知机与布尔函数多层感知机表示疑惑逻辑时最少需要几个隐含层(仅考虑二元输入)?速记:一个。详细:设具有0个隐藏层的情况(等同于逻辑回归)。仅考虑二元输入的情况,设X的取值为0或1,Y的取值也为0或1,Z为异或运算的输出。逻辑回归公式如下:Z=sigmoid(AX+BY+C)Z=sigmoid(AX+BY+C)Z=sigmoid(AX+BY+C)其中Sigmoid激活函数是单调递增的:当AX+BY+C的取值增大时,Z的取值也增 大;当AX+BY+C的取值减少时,Z的取值也减原创 2020-10-21 23:05:08 · 357 阅读 · 0 评论 -
葫芦书笔记----采样
#采样采样在机器学习中有着非常重要的应用:它可以将复杂分布简化为离散的样本点;可以用重采样对样本集进行调整以更好地适应后期的密模型学习;可以用于随机模拟以进行复杂模型的进行求解或推理。采样的作用采样时从特定的概率分布中抽取对应的样本点。举例说明采样在机器学习中的应用速记:通过采样,可以模拟随机事件;采样得到训练集和测试集;利用重采样来处理分类模型的训练样本不均衡问题;利用采样方法进行随机模拟,从而对这些复杂模型进行近似求解或推理。详细:采样本质上时对随机现象的模拟,根据给定的概率分布,来模拟产生原创 2020-10-19 22:40:40 · 328 阅读 · 2 评论 -
葫芦书笔记----优化算法
优化算法实际上,机器学习算法=模型表征+模型评估+优化算法。其中,优化算法所做的事情就是在模型表征空间中找到模型评估指标最好的模型。有监督学习的损失函数有监督学习涉及的损失函数有哪些?请列举并简述它们的特点。0-1损失L0−1(f,y)=1fy≤0L_{0-1}(f,y)=1_{fy\le0}L0−1(f,y)=1fy≤0其中1p1_p1p是知识函数,f为模型,当且仅当P为真时取值为1,否则取值为0。该函数能直观滴刻画分类的错误率,但是由于其非凸、非光滑的特点,使得算法很难直接原创 2020-10-14 20:17:23 · 244 阅读 · 0 评论 -
葫芦书笔记----概率图模型
概率图模型概率图模型的联合概率分布能否写出图中贝叶斯网络的联合概率分布?可见,在给定A的条件下B和C是条件独立的,基于条件概率的定义可得P(C∣A,B)=P(B,C∣A)P(B∣A)=P(B∣A)P(C∣A)P(B∣A)P(C|A,B)=\frac{P(B,C|A)}{P(B|A)}=\frac{P(B|A)P(C|A)}{P(B|A)}P(C∣A,B)=P(B∣A)P(B,C∣A)=P(B∣A)P(B∣A)P(C∣A)同理,在给定B和C的条件下A和D是条件独立的,可得P(D∣A,B,原创 2020-10-11 23:01:47 · 314 阅读 · 0 评论 -
葫芦书笔记----非监督学习
非监督学习K均值聚类聚类是在事先并不知道任何样本类别标签的情况下,通过数据之间的内在 关系把样本划分为若干类别,使得同类别样本之间的相似度高,不同类别之间的样本相似度低。简述K均值算法的具体步骤速记:预处理. 1.随机选簇心 2.按照簇心聚类 3.重新计算簇心 4.重复2,3。K均值算法的优缺点是什么?如何对其进行优化?详细:缺点:受初值和离群点的影响,每次的结果不稳定、结果通常不是全局最优而是局部最优解、无法很好地解决数据簇分布差别比较大的情况(比如一类是另一类样本数的100倍)、不太适用于离原创 2020-10-10 23:37:47 · 213 阅读 · 0 评论 -
葫芦书笔记----降维
降维降维可以提升特征表达能力,降低训练复杂度。PCA最大方差理论####如何定义主成分?从这种定义出发,如何设计目标函数使得降维达到提取主成分的目的?针对这个目标函数,如何对PCA问题进行求解?速记:通过低维向量表达原始数据,那么低维向量所包含的信息就是主成分。PCA的目标是最大化投影方差。详细:对于给定的一组数据点{v1,v2,...,vn}\{v_1,v_2,...,v_n\}{v1,v2,...,vn},其中所有向量均为列向量,中心化后的表示为{x1,x2,...,xn}={v1−μ,原创 2020-10-06 20:50:41 · 140 阅读 · 0 评论 -
葫芦书笔记----经典算法
经典算法SVM在空间中线性可分的两类点,分别向SVM分类的超平面做投影,这些点在超平面上的投影仍然是线性可分的吗?速记:不是详细:一个简单的反例:设二维空间中只有两个样本点,每个点各属于一类任务,此时SVM的分类超平面(直线)就是两个样本点连线的中垂线,两个点在分类面(直线)上的投影会落到这条直线上的同一个点,自然不是线性可分的。是否存在一组参数使SVM训练误差为0速记:是,若给定数据集中不存在两个点在同一位置,则存在一组参数{α1,...,αm,b}\{\alpha_1,...,\alpha_原创 2020-10-04 00:27:16 · 285 阅读 · 0 评论 -
葫芦书笔记----模型评估
1. 评估指标的局限性准确率的局限性速记:当不同类别的样本比例非常不均匀时,占比大的类别往往成为影响准确率的最主要因素。详细:先给出准确率的计算公式:显然,当负样本占99%时,分类器把所有样本都预测为负样本也可以获得99%的准确率。为解决此问题,可以使用平均准确率(每个类别下准确率的算术平均)作为模型的评估指标。精确率与召回率的权衡精确率:指分类正确的正样本个数占分类器判定为正样本的样本个数比例。召回率:指分类正确的正样本数占真正的正样本个数的比例。速记:只用某个点.原创 2020-10-02 23:30:03 · 365 阅读 · 0 评论 -
葫芦书笔记----特征工程
为什么需要对数值类型的特征做归一化?一句话速记:为了消除数据特征至今啊的量纲影响,使得不同指标之间具有可比性。详细版:为了将所有特征都统一到一个大致相同的数值区间内。常用方法有线性函数归一化、零均值归一化。归一化的好处有:在学习率相同的情况下,更容易通过梯度下降找到最优解。但是数据归一化不是万能的,它对于决策树模型并不适用,以为决策树在进行节点分裂时是根据数据集D关于特征x的信息增益比,而信息增益比和特征x是否经过归一化是无关的,因此归一化并不会改变特征上的信息x增益.在对数据进行预处理时.原创 2020-09-28 22:59:12 · 403 阅读 · 0 评论