weixin_37799689的博客

一、知识梳理二、重点讲解1、PCA推导三、作业1.选两种可视化方法进行描述1）可视化卷积核：卷积的过程就是特征提取的过程，每一个卷积核代表着一种特征。如果图像中某块区域与某个卷积核的结果越大，那么该区域就越“像”该卷积核。具体 操作就是对卷积核中的参数进行可视化。注：只有第一层卷积核有直观的解释。2）聚类全连接层：最后一层全连接层（40...

一、知识梳理二、重点讲解1、RCNN1）知识补充：（1）IoU通过面积表示图像区域的的重合程度，训练网络的时候，我们常依据侯选区域和标定区域的IoU值来确定正负样本。（2）非极大值抑制(Non-Maximum Suppression又称NMS) 实例参考本质就是抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，...

一、知识梳理二、重点讲解未完待续三、作业1.rnn公式1）网络结构2）公式2.画出lstm结构，并写出数学表达式1）结构：2）公式：3.lstm每个门的作用，输入和输出是什么1）遗忘门：作用与输入输出：决定上一时刻中哪些信息从单元状态中抛弃，即根据当前的输入xt和上一时刻输出ht-1计算出一个向量。在每一维度上的值都在(0...

一、知识梳理二、重点讲解待续三、作业1.VGG网络结构采用更小的卷积核3x3，需要训练的参数减少。如果卷积层C2的卷积核数量是N，上一层C1卷积核数量是M，则用一个5*5 size的卷积核实现该层卷积的参数数量是：5*5*N*M=25N*M；如果用两个3*3 size大小的卷积核代替一个5*5 size大小的卷积核，此时的参数数量是：(3*3*2)*N*M=18N*M。...

一、知识梳理二、优策策略—一阶函数（减少训练误差）1、为什么在权重对损失函数敏感程度不同时，SGD会走Z字型？如下图，损失函数对竖直方向敏感，因此在优化权重时在竖直方向走的多，在水平方向走的少。（为何在等高线上来回震荡呢？还是因为竖直方向敏感，因此竖直方向上走的距离要多于水平方向，因此不得不来回震荡）2、鞍点与极值点的区别？鞍点和局部极小值相同的是，在该点处的梯度都等...

一、知识梳理二、激活函数1）关于simgoid函数中心非零的问题：中心非零：导致的结果是参数更新的梯度方向恒正或者恒负。（1）首先，先说明网络计算的公式：（2）求解梯度：（3）分析梯度各部分——第一部分J/L，由下式可知此项可正可负（主要看差值）（4）分析梯度各部分——第二部分L/f（有下图可知此部分恒正）（5）分析梯度各部分——第二部分x...

一、知识梳理二、网络历史 1）神经网络历史 1957年Frank Rosenblatt发明了第一代线性感知机也就是感知算法，输出只的值只有0和1，权重更新方式与反向传播类似。但是此时反向传播算法并未发明。 1960年widerow和hoff发明了adaline和madaline首次尝试多层感知器网络反向传播算法仍然未出现。 1986年ru...

一、知识梳理二、关于前向与后向的计算实例1）实例前向：直接计算即可，W=[2,-3，-3]，X=[-1,-2]后向：输入公式的前一项作为x的输入，再乘以后一项的梯度。公式中同时含有x0和x1的用x表示、同时含有w0和w1的用w表示。注：计算时0.197越等于0.2，虽然图中标记的是0.2，但实际计算时还是使用0.197，所以会出现0.39、0.59等2...

一、知识梳理二、问题总结多分类SVM损失函数：问题：为什么要选择加上1这个数？其实在一定程度上是一个任意的选择，这实际上就是一个出现在损失函数中的常数，我们并不真正关心损失函数中分数的绝对值，关心的只是这些分数的相对差值，需要的是正确的分数远远大于不正确的分数，所以实际上如果把整个W参数放大或缩小，那么所有的分数都会放大或缩小。三、重点补充四、作业1....

综合考虑，将统计学习方法中的感知机也整理到此讲中。另外，线性模型没什么证明和理解难点。因此，直接通过导图对基本知识进行梳理。一、知识梳理二、感知机敬请期待......三、线性模型作业（没啥难点，不过多赘述）1.f(x,w)线性分类器与knn区别线性模型：通过特征的线性组合做出分类决策，eg.感知机、SVM、Fisher、LogisicKNN：即是给定一个训练...

一、课程内容进行梳理：二、算法补充（KNN比较简单也没有什么理论推导，就只写个算法）三、关于Kd树(主要是帮助KNN快速搜索)个人理解：先根据叶子节点找出当前最近点，然后以搜索点与当前最近的距离为半径圈出节点，凡是这些节点的兄弟节点都是比较范围。四、Kd树近邻搜索代码import numpy as np#########################...

第一讲：没啥实质内容直接上导图，不许盗图（：D）作业：1、图像的数据主要来源有哪些？主要来自图像传感器，有网络、手机摄像头等。2、sift feature是什么，可以用来干什么。金字塔匹配思想是什么，可以用来干什么。hog特征是什么，可以用来干什么？sift feature：尺度不变特征，是一种非常稳定的局部特征。它用于描述图像中的局部像素特征。SIFT特征对旋转、尺...

转自：https://blog.csdn.net/qq_35082030/article/details/733689621. 引言在深度学习十分火热的今天，不时会涌现出各种新型的人工神经网络，想要实时了解这些新型神经网络的架构还真是不容易。光是知道各式各样的神经网络...

优化器总结机器学习中，有很多优化方法来试图寻找模型的最优解。比如神经网络中可以采取最基本的梯度下降法。梯度下降法(Gradient Descent)梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD, Gra...

一、神经网络与损失函数的关系1、损失函数的作用我们希望：在训练时，如果预测值与实际值的误差越大，那么在反向传播的过程中，各种参数调整的幅度就要更大，从而使训练更快收敛。1）Loss layer 是网络的终点，输入为预测值和真实标签。损失层则将这两个输入进行一系列运算，得到当前网络的损失函数（Loss Function），一般记做L(θ）其中θ是当前网络权值构成的向量空间。2） Loss layer的本质是机器学习。机器学习的目的是在权值空间中找到让损失函数L(θ） 最小时的权值θ，可以采用一

前言花书是一个比较系统的书籍，内容非常全面。说我看完了花书，我自己都不信。只是粗略的总结一下，毕竟研究生阶段时间有限。对于一些必须掌握的部分，率先进行整理。花书，我会反复看，也会持续更新。一、激活函数起源1、生物中的激活函数的性质（1）激活函数的输出表示神经元的活性值（2）神经元只有兴奋和抑制两种活性值2、理性化生物中的激活函数理想中的激活函数是阶跃函数，它将输入值映射为输出值 “0”或“1”，显然 “1” 对应于神经元兴奋 ， “0” 对应于神经元抑制。这种情况是最符合生物特性

一、知识梳理参考链接，参考链接二、隐马尔可夫模型1、相关概念概率计算问题： 已知模型的条件下，计算观测序列O的概率。 学习问题：已知观测序列，估计模型参数。即最大化概率计算问题 预测问题：已知模型及观测序列，求对应的状态序列。 后向概率：定义在时刻t部状态为qi的条件下，从t+1到T的部分观测序列为ot+1,ot+2,... ,oT的概率为后向概率前向概率：定义到时刻t部分观测序列o1,o2,... ,ot且状态为qi的概率为前向概率2、定义隐马尔可夫模型是关...

李航/徐亦达 统计学习方法第九章EM算法及其推广总结和习题答案 ...

一、知识梳理

一、知识梳理二、支持向量机1、原理SVM作为传统机器学习的一个非常重要的分类算法，它是一种通用的前馈网络类型，最早是由Vladimir N.Vapnik 和 Alexey 在1963年提出，目前的版本是Corinna Cortes 和 Vapnik在1993年提出，1995年发表。深度学习（2012）出现之前，SVM被认为是机器学习中近十几年最成功表现最好的算法。支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的

一、知识回顾二、逻辑回归（参考链接）1、二项逻辑回归1）原理LR模型可以被认为就是一个被Sigmoid函数（logistic方程）所归一化后的线性回归模型！逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星。线性回归是逻辑斯蒂回归的基础，线性回归是真正的连续值的回归问题；逻辑回归得到的是概率值，解决的是分类问题。2）基础—逻辑斯蒂分布连续随机变量X服从

一、知识梳理二、最大熵模型1、原理最大熵原理是统计学中的一个概念，《数学之美》中对最大熵模型的概念举的是关于投资的例子，就是平常我们说的不要把鸡蛋放在一个篮子里，均分一下熵才比较大嘛。简单一点说就是，保留全部的不确定性，将风险降到最小。复杂一点，对于一个随机事件的概率分布进行预测时，预测应当满足全部已知的条件，而对未知情况不要做任何主观假设，在这种情况下，概率分布最均匀，预测的风险最小。2、模型1）基本概念最大熵模型假设分类模型是一个条件概率分布P(Y|X)，X为输入特征，Y为.

一、知识回顾二、CART算法1、原理分类与回归树（classification and regression tree, CART）模型是应用广泛的决策树学习方法，同样由特征选择、树的生成和剪枝组成，既可以用于分类也可以用于回归。CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。2、算法流程决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大。 决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，.

一、知识梳理二、

一、参数估计参数估计：在《统计学习方法》经常估计模型中所含有的参数并且模型被一小部分参数所控制，这些参数可以是概率分布也可以是分布的参数值。因此，给定一堆数据，我们希望用一个给定的分布或模型去拟合实际数据分布的时候，就要估计出这些参数的值，以便能够利用分布模型来做密度估计。这就是参数估计！参数估计方法：MLE、MAP、Bayes二、极大似然估计1、基本思想：最大似然估计的思想是使...

一、知识梳理二、K邻近分类1）概念K最近邻(k-Nearest Neighbor，KNN)，是一种常用于分类的算法，是有成熟理论支撑的、较为简单的经典机器学习算法之一。该方法的基本思路是：如果一个待分类样本在特征空间中的k个最相似(即特征空间中K近邻)的样本中的大多数属于某一个类别，则该样本也属于这个类别，即近朱者赤，近墨者黑。显然，对当前待分类样本的分类，需要大量已知分类的样本的支持，因此KNN是一种监督学习算法。2）原理对于一个新的输入数据点，在训练集中找到与它距离最近的K个点，

一、知识梳理二、感知机1、感知模型1）概念所谓感知机，就是二类分类的线性分类模型，其输入为样本的特征向量，输出为样本的类别，取+1和-1二值，即通过某样本的特征，就可以准确判断该样本属于哪一类。顾名思义，感知机能够解决的问题首先要求特征空间是线性可分的，再者是二类分类，即将样本分为{+1, -1}两类。具体模型如下：2）学习策略给定一个数据集T={(x1,y1),(x2,y2),...,(xN,yN)}，T={(x1,y1),(x2,y2),...,(xN,yN)} ，其中.

前言：这是我第二次看蓝皮书，这一次看书的重点不在只局限于模型的使用，而更专注于模型的推导。对于一些不是很重要或者是常识性的的东西，本文将以思维导图的形式给出。另外，在学习过程中花书与此书是相辅相成的，一些已经证明过的会直接引用花书的推导（有链接的）。一、知识梳理首先对本章的所讲内容进行梳理，思维导图中并非所有的知识点都会讲解，自己能看懂的和不重要的就不写了。本文的知识梳理与书中...