DeepLearning
文章平均质量分 50
爱吃糖的小北
sjtu BMEr practicing now and ever
展开
-
机器学习判别式模型与生成式模型的区别
判别式模型直接计算P(Y∣X)P(Y|X)P(Y∣X),即对后验概率直接建模,如线性回归算法.生成式模型对P(X∣Y),P(Y)P(X|Y),P(Y)P(X∣Y),P(Y)建模,从数据中计算这些概率的参数值,再利用贝叶斯求后验概率.原创 2021-06-16 19:05:47 · 113 阅读 · 0 评论 -
Involution论文解读:从卷积变换出的神经网络新算子
这篇文章来自CVPR2021,作者是港科大计算机系在读,本科毕业于清华,个人主页。Motivation既然是从卷积出发,我们需要先梳理卷积。卷积的操作如上图所示,是目前神经网络里最基础的算子。它具备两个特性:空间不变性因为卷积网络采用滑窗的形式,所以对于一张图片的各个部分,是共享卷积核参数的,相比于全连接网络,它在某个像素处,只考虑一个小邻域的信息,相当于加了一个很强的正则。这个特性的好处是大大降低了图像处理所需的参数量,以及使得网络输出具有平移不变性,也就是某一个特征不管出现在图像的.原创 2021-05-20 11:53:12 · 1442 阅读 · 0 评论 -
深度学习的数学基础之优化理论
基于梯度的优化深度学习中,输入输出都是向量,不同于单输入输出的梯度优化,输出对于输入的梯度有许多个,数学上将这些梯度组成一个矩阵,称为Jacobian矩阵。Jacobian矩阵由输出对输入的一阶导数组成,定义为:Ji,j=df(x)idxjJ_{i,j}=\frac{df(x)_i}{dx_j}Ji,j=dxjdf(x)i有时候,我们也对二阶导数感兴趣,他会给我们关于极大极小的信息。同样的,对于多维输入与输出,其二阶导数组成Hessian矩阵。Hessian矩阵由二阶导数组成的矩原创 2021-02-18 21:12:23 · 214 阅读 · 0 评论 -
神经网络的万能近似定理
一个前馈神经网络如果具有线性输出层和至少一层具有任何一种“挤压”性质的激活函数(非线性单元)的隐藏层,只要给予网络足够数量的隐藏单元,它可以以任意精度来近似任何一个从一个有限维空间到另一个有限维空间的Borel可测函数。Borel可测函数: 定义在RnR^nRn的有界闭集上的连续函数是Borel可测的。...原创 2021-02-07 22:21:42 · 1185 阅读 · 0 评论 -
SuperGlue:基于图神经网络和注意力机制的特征点匹配网络
SuperGlueBackgroundSuperGlue是Magicleap团队在SuperPoint后的又一力作,其思路与方法之巧妙不输SuperPoint,完成的任务也是传统视觉问题中特征点提取和描述(SuperPoint)的后一步–特征点匹配。说起匹配,最传统的就是直接根据上一步提取出的特征描述子,计算两者间的欧式距离来衡量匹配的概率,也就是俗称的最近邻搜索(NN Search)。最近几年,随着深度学习的发展,有学者将处理点云数据的网络PointNet应用到匹配任务中,如PointCN,OAN原创 2020-09-13 14:59:54 · 13539 阅读 · 1 评论 -
传火:YOLO V1
YOLO V1概览YOLO是You Only Look Once的简称,和人眼识别物体一样,看一眼就能识别出来,YOLO力求实现端到端的目标检测,只用一个简单的神经网络结构,从单张图片就可以输出图中目标的位置和目标的种类,而且因为其没有其他检测网络的复杂结构(说的就是你,Faster RCNN),所以其检测速度很快,可以实现实时的目标检测。YOLO诞生之前 – 无火的时代Long May The Sunshine. 在YOLO之前,目标检测的方法是从图像分类衍化而来,毕竟检测的第一步确实是原创 2020-08-22 11:52:28 · 150 阅读 · 0 评论 -
CV神经网络基础
原创 2020-03-05 16:08:53 · 595 阅读 · 0 评论 -
深度学习发展历史概述
原创 2020-03-05 16:07:59 · 511 阅读 · 0 评论 -
吴恩达深度学习课程笔记(13)|深层神经网络
原创 2020-03-04 22:07:07 · 181 阅读 · 0 评论 -
网络正则化理解
原创 2020-02-27 16:27:21 · 248 阅读 · 0 评论 -
吴恩达深度学习课程笔记(12)|HomeworkWeek2
主要是搭建了含有一个隐藏层的网络,做了一个非线性分类的任务。原创 2020-02-25 22:51:50 · 127 阅读 · 0 评论 -
pytorch函数理解 | DataLoader, Conv2d, ConvTranspose2d... (Real-Time Updating)
原创 2020-02-09 17:10:55 · 135 阅读 · 0 评论 -
吴恩达深度学习课程笔记(11)| 激活函数
原创 2020-01-30 12:39:21 · 125 阅读 · 0 评论 -
吴恩达深度学习课程笔记(10)|神经网络的表示和计算
原创 2020-01-09 18:59:06 · 112 阅读 · 0 评论 -
吴恩达深度学习课程笔记(9)| HomeWork 1
原创 2020-01-09 18:42:05 · 163 阅读 · 0 评论 -
吴恩达深度学习课程笔记(8)|逻辑回归损失函数的解释(自己的理解)
老师讲的没有十分清楚,以下是自己的理解:原创 2019-12-09 21:17:07 · 229 阅读 · 0 评论 -
吴恩达深度学习课程笔记(7)| Python中的广播
原创 2019-11-29 23:51:01 · 93 阅读 · 0 评论 -
吴恩达深度学习课程笔记(6)| 逻辑回归中的梯度下降
这几节课,主要在罗辑回归中实现了梯度下降算法,并介绍了相关的向量化的思想。原创 2019-11-25 00:30:45 · 171 阅读 · 0 评论 -
吴恩达深度学习课程笔记(5)| 导数和计算图
这节课,主要讲的是导数的基本概念和计算图的基本概念,以及它在反向传播中应用的一个小例子。原创 2019-11-20 22:46:42 · 138 阅读 · 0 评论 -
吴恩达深度学习课程笔记(4)|Gradient Descent
这节课,主要讲解了逻辑回归时更新参数用的梯度下降法。原创 2019-11-16 19:50:15 · 113 阅读 · 0 评论 -
吴恩达深度学习课程笔记(3)| Cost Function of Logistic Regression
这节课介绍了逻辑回归中采用的损失函数。原创 2019-11-14 23:39:26 · 167 阅读 · 0 评论 -
吴恩达深度学习课程笔记(2)| Logistic Regression
原创 2019-11-13 23:08:37 · 96 阅读 · 0 评论 -
吴恩达深度学习课程笔记(1)| 二分分类
原创 2019-11-12 23:54:04 · 101 阅读 · 0 评论 -
提取神经网络中参数(放入numpy矩阵中)的方法
参考:https://blog.csdn.net/leviopku/article/details/78510977最近需要把resnet中的参数(权重,偏置)从网络中取出来分析,网上资料很少,怼了一下午算是成功了,记录一下。选择的框架是TF,因为pytorch提出来的参数数据结构复杂,而TF可以直接变为numpy。思路就是先把所有参数用tf.train.NewCheckpointReade...原创 2019-10-11 20:31:15 · 752 阅读 · 0 评论 -
机器学习中的Normalization研究笔记
机器学习中的Normalization研究笔记这是一篇笔记,原文见:https://zhuanlan.zhihu.com/p/432008971.Mini-Batch SGD1)一种模型优化算法 —— 随机梯度下降。2)描述:将训练集合(N)按Batch Size(b)分为N/b份,每份称为一个Mini-Batch,跑完一个Mini-Batch为一个Step,跑完所有Mini-Batch即...原创 2019-07-27 12:02:26 · 183 阅读 · 0 评论 -
深度学习的数学基础之线性代数(一)------ 张量和范数
-------------------------------------------------山水有相逢-----------------------------------------------------原创 2019-08-06 10:02:39 · 2543 阅读 · 0 评论 -
深度学习的数学基础之线性代数(二)------特殊矩阵向量与分解
------------------------------------------------山水有相逢------------------------------------------------------原创 2019-08-09 22:00:23 · 337 阅读 · 0 评论 -
奇异值分解详解
原文:https://zhuanlan.zhihu.com/p/29846048原创 2019-08-10 20:12:46 · 172 阅读 · 0 评论 -
Pytorch的Autograd机制
参考文献:https://www.jianshu.com/p/cbce2dd60120原创 2019-08-11 19:54:22 · 172 阅读 · 0 评论 -
手撕反向传播算法
参考文献及图片来源:https://zhuanlan.zhihu.com/p/25609953原创 2019-08-15 18:44:41 · 151 阅读 · 0 评论 -
基本CNN输入输出大小的推导
从一个例子中学会推导CNN每层输入输出的大小变化原创 2019-08-16 17:09:35 · 634 阅读 · 0 评论 -
深度学习的数学基础之线性代数(三)------伪逆、迹运算和行列式
山水有相逢原创 2019-08-17 11:00:52 · 218 阅读 · 0 评论 -
FasterRCNN训练自己的数据集log3
说说进展固化输出的问题解决后,就比较顺了,拿到学长的IOU计算代码,看懂后修改了一些部分,就可以得到网络的精度。(所有IOU的平均值)现在的问题得到统计的精度后,发现最高只有30%,不过学长说这样统计精度不大准确,确实,从结果看,对有的样本,精度可以达到100%,只是有的时候假阳性特别高。和两个老师交流后,老师觉得不可能在背景有相应,我就把原先的标注show给他(一个只标注了背景的样本)...原创 2019-04-13 20:13:54 · 203 阅读 · 0 评论