Deep Learning
文章平均质量分 63
张博208
知识搬运工
展开
-
大模型训练框架Megatron原理系列转载
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline并行来复现 GPT3,值得我们深入分析其背后机理。本系列大概有6~7篇文章,通过论文和源码和大家一起学习研究。本文把 Megatron 的两篇论文/一篇官方PPT 选取部分内容,糅合在一起进行翻译分析,希望大家可以通过本文对 Megatron 思路有一个基本了解。转载 2023-06-20 11:34:03 · 1717 阅读 · 0 评论 -
人脸识别损失函数(Center-Loss、A-Softmax、AM-Softmax、ArcFace)
引用转载 2023-05-30 18:22:10 · 212 阅读 · 0 评论 -
PixelShuffle上采样原理
PixelShuffle是目前通用上采样upsample技术中性能最好的。PixelShuffle现已广泛应用在如图像分割等计算机视觉问题上,和。一起成为了神经网络中最常用的两种上采样技术。原创 2023-04-12 11:36:45 · 120 阅读 · 0 评论 -
多卡训练时设置batch_size和learning_rate
Linear Scale Rule:原创 2023-01-06 10:50:04 · 736 阅读 · 0 评论 -
Class-Balanced Loss Based on Effective Number of Samples - 1 - 论文学习
https://arxiv.org/pdf/1901.05555.pdfskewed 倾斜的,歪斜的 heuristic 启发式的 interpolated插值 focal 焦点的 complementary 互补的 coverage 覆盖 tamable 可驯服的 intrinsic 内在的,本质的Abstract随着大规模、真实世界数据集的迅速增加,长尾数据分布问题的解决变得至关重要(即少数类占了大部分数据,而大多数类的代表性不足)。现有的解决方案通常采用类重新平衡策略,例如根据每个类的观察转载 2021-12-17 16:31:24 · 1986 阅读 · 0 评论 -
图神经网络(GNN)训练中过度平滑的问题 over-smoothing
如何解决图神经网络(GNN)训练中过度平滑的问题? - 知乎作者:日知链接:https://www.zhihu.com/question/346942899/answer/835222364来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。不是所有图神经网络都有 over-smooth 的问题,例如,基于 RandomWalk + RNN、基于 Attention 的模型大多不会有这个问题,是可以放心叠深度的~只有部分图卷积神经网络会有该问题。.转载 2021-09-17 18:39:52 · 1252 阅读 · 0 评论 -
代价敏感学习初探 - 有偏损失函数设计
搬砖https://www.cnblogs.com/LittleHann/p/10587512.html转载 2021-06-16 13:18:57 · 1978 阅读 · 0 评论 -
为什么深度神经网络验证集损失低于训练集
1. 在训练的过程中应用了正则化,但是在对验证集计算损失的时候没有采用正则化。比如在损失函数中加入了L1,L2等正则项,或者dropout。正则化会牺牲训练精度,但是可以通过提高验证集和测试集的精度防止过拟合。如果在验证集中也加入正则项,那么会改善验证集损失小于训练集损失这种情况。2. 在计算训练集的损失时,它是边训练边计算的,不是等训练完一轮(epoch)后再计算总的训练集损失的。实际上,我们的数据是一个batch一个batch的输入到模型中训练的。在一轮训练中,每训练完一个batch就计算一下该ba原创 2021-01-28 10:34:39 · 1344 阅读 · 0 评论 -
漫谈重参数:从正态分布到Gumbel Softmax
https://spaces.ac.cn/archives/6705原创 2020-09-30 17:27:16 · 585 阅读 · 0 评论 -
关于「Inception」和「Xception」的那些事
https://zhuanlan.zhihu.com/p/33999416原创 2020-09-30 16:24:31 · 143 阅读 · 0 评论 -
IoU、GIoU、DIoU、CIoU损失函数的那点事儿
https://zhuanlan.zhihu.com/p/94799295转载 2020-09-27 17:51:56 · 837 阅读 · 0 评论 -
TCN
https://www.jianshu.com/p/4280f104ddf7https://blog.csdn.net/qq_27586341/article/details/90751794原创 2020-09-18 18:31:33 · 207 阅读 · 0 评论 -
因果卷积(causal Convolutions)和扩展卷积(Dilated Convolutions)
https://blog.csdn.net/u013195114/article/details/105565696https://blog.csdn.net/qq_34107425/article/details/105522916原创 2020-09-18 18:29:32 · 593 阅读 · 0 评论 -
距离度量以及python实现
传统距离:欧氏距离(Euclidean Distance),曼哈顿距离(Manhattan Distance),切比雪夫距离( Chebyshev Distance ),闵可夫斯基距离(Minkowski Distance),标准化欧氏距离(Standardized Euclidean distance ),马氏距离(Mahalanobis Distance),夹角余弦(Cosine),皮尔逊相关系数(Pearson correlation),汉明距离(Hamming distance),杰卡德相似系...原创 2020-09-18 10:14:18 · 435 阅读 · 0 评论 -
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
https://blog.csdn.net/liuxiao214/article/details/81037416转载 2020-08-26 11:43:05 · 114 阅读 · 0 评论 -
变分推断以及在概率图模型中的应用
https://qianyang-hfut.blog.csdn.net/article/details/86644192https://blog.csdn.net/qy20115549/article/details/93074519链接:https://www.zhihu.com/question/41765860/answer/331070683来源:知乎最干的干货:首先,我们的原始目标是,需要根据已有数据推断需要的分布p;当p不容易表达,不能直接求解时,可以尝试用变分推断..转载 2020-08-26 10:52:03 · 807 阅读 · 0 评论 -
einsum满足你一切需要:深度学习中的爱因斯坦求和约定
https://zhuanlan.zhihu.com/p/44954540?utm_source=wechat_timelinehttps://zhuanlan.zhihu.com/p/101157166https://www.jianshu.com/p/27350d110caf原创 2020-08-24 11:51:05 · 103 阅读 · 0 评论 -
堆栈自编码器 Stacked AutoEncoder
https://blog.csdn.net/qq_38640439/article/details/102624044?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.chan转载 2020-08-23 16:55:49 · 2194 阅读 · 0 评论 -
Triplet Loss, Ranking Loss, Margin Loss
不同于cross entry loss或者MSE等等,他们的目标去表征模型的输出与实际的输出差距是多少。但是ranking loss实际上是一种metric learning,他们学习的相对距离,而不在乎实际的值。由于在不同场景有不同的名字,包括 Contrastive Loss, Margin Loss, Hinge Loss or Triplet Loss.ranking loss 应用十分广泛,包括是二分类,例如人脸识别,是一个人不是一个人。ranking loss 有非常多的叫法,但是他们的转载 2020-08-23 11:26:58 · 1472 阅读 · 1 评论 -
A Recipe for Training Neural Networks
http://karpathy.github.io/2019/04/25/recipe/#2-set-up-the-end-to-end-trainingevaluation-skeleton--get-dumb-baselinesSome few weeks ago Iposteda tweet on “the most common neural net mistakes”, listing a few common gotchas related to training neural n...转载 2020-08-21 16:34:02 · 430 阅读 · 0 评论 -
Highway Network
https://zhuanlan.zhihu.com/p/35019701原创 2020-08-17 19:11:27 · 143 阅读 · 0 评论 -
What is Teacher Forcing for Recurrent Neural Networks?
Teacher forcing is a method for quickly and efficiently training recurrent neural network models that use the ground truth from a prior time step as input.It is a network training method critical to...转载 2020-05-06 09:52:58 · 288 阅读 · 0 评论 -
DenseNet算法详解
https://blog.csdn.net/u014380165/article/details/75142664/转载 2019-12-03 09:53:38 · 152 阅读 · 0 评论 -
(RegionProposal Network)RPN网络结构及详解
RPN(RegionProposal Network)区域生成网络Faster-RCNN的核心。在这里整理。1.anchors。特征可以看做一个尺度51*39的256通道图像,对于该图像的每一个位置,考虑9个可能的候选窗口:三种面积{128,256,512}×{128,256,512}×三种比例{1:1,1:2,2:1}{1:1,1:2,2:1}。这些候选窗口称为anchors...转载 2019-12-02 16:17:20 · 251 阅读 · 0 评论 -
目标检测网络之 YOLOv3
yolo-idea本文逐步介绍YOLO v1~v3的设计历程。YOLOv1基本思想YOLO将输入图像分成SxS个格子,若某个物体 Ground truth 的中心位置的坐标落入到某个格子,那么这个格子就负责检测出这个物体。yolo-grid-predict每个格子预测B个bounding box及其置信度(confidence score),以及C个类别概率...转载 2019-12-02 16:16:19 · 236 阅读 · 0 评论 -
目标检测算法之一 YOLO初步讲解
目前目标检测算法有很多,譬如:R-CNN,Faster R-CNN,DPM,RPN等等,YOLO也是其中之一,YOLO是当前目标检测算法中发展最为迅速的一个。YOLO结合了GooleNet modification和卷积神经网络的知识,可以对图像中的物体进行分类和定位。卷积神经网络对于物体分类来说效果是很好的,YOLO利用卷积层提取物体特征,通过全连接层进行分类和定位。接下来,我将大概讲一下YOL...转载 2019-12-02 16:14:32 · 403 阅读 · 0 评论 -
YOLO算法详解
YOLO(You Only Look Once)是CVPR2016的一篇文章,是目标检测领域比较有名的的一篇文章,yolo出名不在于它的精度高,而在于他的速度很快,下面介绍的是yolo的第一版,在yolo之后,又改进出了yolo-v2,yolo-v3,v2,v3的精度相比较于v1就有大大提升了,这个后面再详细介绍。在介绍yolo之前,首先引入一下目标检测的进展,yolo之前的目标检测一般是如何...转载 2019-12-02 16:13:14 · 1153 阅读 · 0 评论 -
【Deep Learning】SSD: Single Shot MultiBox Detector
1. 综述 这篇论文提出了一种仅适用单一深度神经网络的图像中的目标检测算法。这种算法称为 SSD,它输出一系列 离散化 的 bounding boxes,这些 bounding boxes 是在不同的层次(layers)上的 feature maps 上生成的,并且有着不同的 aspect ratio(长宽比)。 在预测阶段的大致流程为:计算出每一个 default box 中的物体属...转载 2019-11-25 13:51:42 · 154 阅读 · 0 评论 -
Faster RCNN 学习笔记
下面的介绍都是基于VGG16的Faster RCNN网络,各网络的差异在于Conv layers层提取特征时有细微差异,至于后续的RPN层、Pooling层及全连接的分类和目标定位基本相同.一)、整体框架我们先整体的介绍下上图中各层主要的功能1)、Conv layers提取特征图:作为一种CNN网络目标检测方法,Faster RCNN首先使用一组基础的conv+relu...转载 2019-11-25 13:49:32 · 114 阅读 · 0 评论 -
区域推荐网络RPN
Region Proposal NetworkRPN的实现方式:在conv5-3的卷积feature map上用一个n*n的滑窗(论文中作者选用了n=3,即3*3的滑窗)生成一个长度为256(对应于ZF网络)或512(对应于VGG网络)维长度的全连接特征.然后在这个256维或512维的特征后产生两个分支的全连接层:(1)reg-layer,用于预测proposal的中心锚点对应的propo...转载 2019-11-24 12:45:43 · 138 阅读 · 0 评论 -
faster-rcnn原理及相应概念解释
R-CNN --> FAST-RCNN --> FASTER-RCNNR-CNN:(1)输入测试图像;(2)利用selective search 算法在图像中从上到下提取2000个左右的Region Proposal;(3)将每个Region Proposal缩放(warp)成227*227的大小并输入到CNN,将CNN的fc7层的输出作为特征;(4)将每个R...转载 2019-11-24 12:44:22 · 145 阅读 · 0 评论 -
实例分割模型Mask R-CNN详解:从R-CNN,Fast R-CNN,Faster R-CNN再到Mask R-CNN
Mask R-CNN是ICCV 2017的best paper,彰显了机器学习计算机视觉领域在2017年的最新成果。在机器学习2017年的最新发展中,单任务的网络结构已经逐渐不再引人瞩目,取而代之的是集成,复杂,一石多鸟的多任务网络模型。Mask R-CNN就是典型的代表。本篇大作的一作是何凯明,在该篇论文发表的时候,何凯明已经去了FaceBook。我们先来看一下,Mask R-CNN取得了何等的...转载 2019-11-24 12:36:29 · 143 阅读 · 0 评论 -
RCNN系列总结(RCNN,SPPNET,Fast RCNN,Faster RCNN)
传统的目标检测方法大概分为区域选择、特征提取(SIFT、HOG等)、分类器(SVM等)三个部分,其主要问题有两方面:一是区域选择策略没有针对性、时间复杂度高,窗口冗余;另一方面手工设计的特征鲁棒性较差。以下介绍基于Region Proposal的深度学习目标检测算法R-CNN->SPP-NET->Fast R-CNN->Faster R-CNN.R-CNN创新点采用CNN...转载 2019-11-24 12:34:32 · 181 阅读 · 0 评论 -
【RCNN系列】【超详细解析】
一、基于Region Proposal(候选区域)的深度学习目标检测算法Region Proposal(候选区域),就是预先找出图中目标可能出现的位置,通过利用图像中的纹理、边缘、颜色等信息,保证在选取较少窗口(几千个甚至几百个)的情况下保持较高的召回率(IoU,Intersection-over-Union)。图1 IoU定义Region Proposal方法比传统的滑动窗口方...转载 2019-11-24 12:32:47 · 270 阅读 · 0 评论 -
基于深度学习的目标检测技术演进:R-CNN、Fast R-CNN、Faster R-CNN
object detection我的理解,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。object detection要解决的问题就是物体在哪里,是什么这整个流程的问题。然而,这个问题可不是那么容易解决的,物体的尺寸变化范围很大,摆放物体的角度,姿态不定,而且可以出现在图片的任何地方,更何况物体还可以是多个类别。object detection技术的演进:RCNN->S...转载 2019-11-24 12:30:23 · 100 阅读 · 0 评论 -
SPP-net原理解读
上文说到R-CNN的最大瓶颈是2k个候选区域都要经过一次CNN,速度非常慢。Kaiming He大神最先对此作出改进,提出了SPP-net,最大的改进是只需要将原图输入一次,就可以得到每个候选区域的特征。概述在R-CNN中,候选区域需要进过变形缩放,以此适应CNN输入,那么能不能修改网络结构,使得任意大小的图片都能输入到CNN中呢?作者提出了spatial pyramid pooling结...转载 2019-11-24 12:27:14 · 248 阅读 · 0 评论 -
如何提高深度学习(和机器学习)的性能
http://machinelearningmastery.com/improve-deep-learning-performance/原文地址:How To Improve Deep Learning Performance by Jason Brownlee 原文翻译:王昱森(ethanwang92@outlook.com) 翻译与校对:寒小阳(hanxiaoyan转载 2017-06-11 20:44:19 · 443 阅读 · 0 评论 -
特征选择与特征学习
特征选择与特征学习在机器学习的具体实践任务中,选择一组具有代表性的特征用于构建模型是非常重要的问题。特征选择通常选择与类别相关性强、且特征彼此间相关性弱的特征子集,具体特征选择算法通过定义合适的子集评价函数来体现。在现实世界中,数据通常是复杂冗余,富有变化的,有必要从原始数据发现有用的特性。人工选取出来的特征依赖人力和专业知识,不利于推广。于是我们需要通过机器来学习和抽取特征,促进特征转载 2017-06-08 10:00:58 · 3670 阅读 · 0 评论 -
受限玻尔兹曼机基础教程
目录定义与结构重构概率分布多层结构代码示例:堆叠式受限玻尔兹曼机参数与变量k连续受限玻尔兹曼机后续内容其他资源定义与结构受限玻尔兹曼机(RBM)由Geoff Hinton发明,是一种用于降维、分类、回归、协同过滤、特征学习和主题建模的算法。(如需通过实例了解RBM等神经网络的应用方法,请参阅应用案例)。我们首先介绍受限玻尔兹曼机这类神经网络,因为转载 2017-09-25 15:04:40 · 3132 阅读 · 0 评论 -
深度信念网络(DBN)
1.初识深度信念网络 深度信念网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和 P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation)。 DBNs由多个限制玻尔兹曼机(Restricted Boltzman转载 2017-09-25 15:07:46 · 1365 阅读 · 1 评论