Deep Learning
It-is-me!
文章有参考网上资料,有结合个人见解,仅供学习交流,如有侵权,请留言/联系删除。
所有文章均是原创或已获得原作者的授权,转让。
展开
-
通用 3D 目标检测框架
Det3D- 首个通用3D目标检测框架 (已开源)https://bbs.cvmart.net/topics/1361原创 2020-12-14 15:47:34 · 231 阅读 · 0 评论 -
About 集成学习
集成学习具体如何用代码实现?有没有像深度学习中tf和py torch这样的框架?原创 2020-08-16 20:39:25 · 79 阅读 · 0 评论 -
clone、new_tensor 等张量复制操作
out = self.student(*inputs) self.last_students_logits = out.new_tensor(out, requires_grad=True)out = self.student(*inputs)self.last_students_logits = out.clone()new_tensor 其默认参数下的操作等同于.clone().detach(),而requires_grad=True 时的效果相当于.clon...原创 2020-08-14 17:56:48 · 966 阅读 · 0 评论 -
adjust_dropout()
def adjust_dropout(module, new_probabilty): """Replace the dropout probability of dropout layers As explained in the paper "Learning both Weights and Connections for Efficient Neural Networks": Dropout is widely used to prevent ...原创 2020-08-14 17:40:49 · 132 阅读 · 0 评论 -
get_dummy_input
def get_dummy_input(dataset, device=None): """Generate a representative dummy (random) input for the specified dataset. If a device is specified, then the dummay_input is moved to that device. """ if dataset == "imagenet": d...原创 2020-08-14 17:11:54 · 227 阅读 · 0 评论 -
神经网络压缩库 Distiller
Distiller 是 Intel 开源的一个用于神经网络压缩的 Python 包,可减少深度神经网络的内存占用、提高推断速度并节省能耗。Distiller 为 PyTorch 环境提供原型和分析压缩算法,例如稀疏方法和低精度运算。Distiller 包含: 整合修剪、正则化和量化算法的框架 一组用于分析和评估压缩性能的工具 (当前)最先进的压缩算法的示例实现 https://github.com/NervanaSystems/distiller...原创 2020-08-14 12:24:03 · 470 阅读 · 0 评论 -
deconv2d.py
# ------------------------------------------------------------------# Author: Michael Wang# Email: loveu1061@126.com# Affiliation: ShenZhen# Date: 14 Oct 2020# ------------------------------------------------------------------import ...原创 2020-08-14 11:59:24 · 585 阅读 · 0 评论 -
神经网络剪枝、量化、压缩
神经网络剪枝、量化、压缩to be continue...原创 2020-08-14 11:37:13 · 413 阅读 · 0 评论 -
神经网络高性能算子
神经网络高性能算子原创 2020-08-14 11:35:56 · 575 阅读 · 0 评论 -
深度学习模型压缩与加速综述
深度学习模型压缩与加速综述转载 2020-08-13 19:50:54 · 109 阅读 · 0 评论 -
CNN基础知识——池化(pooling)
池化的作用:(1)保留主要特征的同时减少参数和计算量,防止过拟合。(2)invariance(不变性),这种不变性包括translation(平移),rotation(旋转),scale(尺度)。Pooling 层说到底还是一个特征选择,信息过滤的过程。也就是说我们损失了一部分信息,这是一个和计算性能的一个妥协,随着运算速度的不断提高,我认为这个妥协会越来越小。现在有些网络都开始少用或者不用pooling层了。...转载 2020-08-13 15:36:08 · 1205 阅读 · 0 评论 -
深度学习 OCR 文字识别
pengcao / chinese_ocrchineseocr / chineseocrbai-shang / crnn_seq2seq_ocr_pytorch【腾讯Bugly干货分享】深度学习在OCR中的应用原创 2020-08-10 17:40:41 · 354 阅读 · 0 评论 -
NCNN
ncnn 是腾讯优图实验室首个开源项目,是一个为手机端极致优化的高性能神经网络前向计算框架 ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖,跨平台,手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn,开发者能够将深度学习算法轻松移植到手机端高效执行功能概述支持卷积神经网络,支持多输入和多分支结构,可计算部分分支 无任何第三方库依赖,不依赖 BLAS/NNPACK 等计算框架 纯 C++ 实现,跨平台,支持 android ios 等 ARM NEON 汇编.原创 2020-08-10 10:54:05 · 579 阅读 · 0 评论 -
如何融合,何处融合
通过结合最佳的信息融合方式和信息融合层的位置,作者提出了所谓的双流融合网络(Two Stream Fused Network) Fig 4.3 各种不同的双流信息融合方式的实验结果和模型参数量 ...转载 2020-08-09 12:29:07 · 202 阅读 · 0 评论 -
Numpy 与 Tensor
Python深度学习:基于PyTorch (智能系统与技术丛书)作者 吴茂贵原创 2020-08-09 11:33:51 · 85 阅读 · 0 评论 -
深度学习的历史
深度学习入门之PyTorch作者 廖星宇原创 2020-08-08 21:15:33 · 120 阅读 · 0 评论 -
深度强化学习
边做边学深度强化学习:PyTorch程序设计实践作者 小川雄太郎, 于憓原创 2020-08-08 21:03:06 · 364 阅读 · 0 评论 -
训练好后的神经网络如何快速定点化?
训练好后的神经网络如何快速定点化?如何把浮点权重快速定点化后使用在嵌入式设备中tensorflow模型的定点化如何量化和量化意义?网络参数是按层组织,每层数值都在同一数量级,即范围相差不大,如[-6.0,4.0],有大量论文研究表明确认值最大和最小后每层数据使用8bit定点化量化已可以很好满足推断计算。量化最直接结果是参数存储空间要求变小,经验值是减少约3/4;减少内存读取数据量,节省带宽;使用simd进行计算加速,如果有dsp进行8bit加速计算节能,使得移动设备上进行推断计算变得更.原创 2020-08-08 19:37:58 · 1756 阅读 · 0 评论 -
FCN算法详解
图像语义分割入门+FCN/U-Net网络解析FCN的学习及理解(Fully Convolutional Networks for Semantic Segmentation)语义分割网络经典:FCN与SegNet FCN的理解 ...原创 2020-08-03 18:20:41 · 506 阅读 · 0 评论 -
实现L1和L2损失函数
import numpy as npdef L1(yhat, y): loss = np.sum(np.abs(y - yhat)) return lossdef L2(yhat, y): loss =np.sum(np.power((y - yhat), 2)) return loss#调用yhat = np.array([0.1, 0.2, 0.3, 0.4, 0.5])y = np.array([1, 1, 0, 1, 1])prin...转载 2020-08-01 20:39:00 · 318 阅读 · 0 评论 -
c++调用pytorch模型并使用GPU进行预测
在C++中加载PYTORCH模型c++调用pytorch模型并使用GPU进行预测在C++中加载Pytorch模型c++调用pytorch的模型遇到的问题原创 2020-08-01 19:49:05 · 734 阅读 · 1 评论 -
深度学习模型移植的移动端框架
下面列出各大公司使用的CNN库:各主流移动端深度学习框架诞生时间如下:2017 年 3 月,XMART LABS 在 GitHub 上开源 Bender2017 年 4 月 19 日,Facebook 在 F8 开发者大会上推出 Caffe2 (已并入 PyTorch)2017 年 5 月 17 日,在 Google I/O 2017 大会上,移动端深度学习框架 TensorFlow Lite 诞生2017 年 6 月 6 日,苹果在 WWDC 大会上推出 Core ML2.原创 2020-07-30 14:18:11 · 660 阅读 · 0 评论 -
HMDB 51
HMDB 51内容:1 共51个类别,6849个视频。每一个类别至少包含101个视频。2 从电影、视频网站上采集。3 包含5大类:面部动作(微笑、大笑、咀嚼、说话);面部与物交互动作(吃饭、喝水、抽烟);身体运动(翻跟斗、拍手、爬上等);身体与物交互运动(梳头发、拔剑等);人人交互运动(击剑、拥抱、接吻等)...原创 2020-07-28 10:32:43 · 1099 阅读 · 0 评论 -
在线深度学习
在线深度学习 在数据流中实时学习深度神经网络在线深度学习的主要困难是模型的容量、复杂度等设置很不灵活,即模型是静态的,而数据流是动态的。本论文提出了一种适应性的网络框架,结合 HBP 算法,使网络结构能随着数据的流入而逐渐扩展、复杂化。这使得模型同时拥有在线学习和深度学习的优点,并在多种在线学习模型和数据集的对比实验中都取得了当前最佳结果。深度学习-在线推断(Inference)技术深度学习一般分为训练和在线推断两个部分,大家平时经常关注的多为训练阶段,...原创 2020-07-23 11:10:07 · 2438 阅读 · 0 评论 -
Pytorch Classification
FULLHALFDETAIL原创 2020-07-23 10:54:08 · 97 阅读 · 0 评论 -
Expected more than 1 value per channel when training, got input size torch.Size([1, 256, 1, 1]
SSD Expected more than 1 value per channel when training, got input size torch.Size([1, 256, 1, 1])原因:模型中用了batchnomolization,训练中用batch训练的时候当前batch恰好只含一个sample,而由于BatchNorm操作需要多于一个数据计算平均值,因此造成该错误。解决方法1 :在torch.utils.data.DataLoader类中或自己创建的继承于DataLo..原创 2020-07-20 10:07:58 · 2109 阅读 · 1 评论 -
Loss is inf, stopping training
Loss is inf, stopping training原创 2020-07-14 17:14:18 · 904 阅读 · 0 评论 -
很难得到有意义的组合
0.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.00.0 0.0 0.0...原创 2020-07-14 11:32:19 · 82 阅读 · 0 评论 -
查看模型结构和参数
import torchvision.models as modelsimport torchfrom torchsummary import summarydevice = torch.device('cuda' if torch.cuda.is_available() else 'cpu')resnet = models.resnet18().to(device)summary(resnet, (3, 224, 224))原创 2020-07-13 14:38:09 · 1178 阅读 · 0 评论 -
分类与回归
分类问题:CrossEntropyLoss回归问题:MSE - Mean Square Error原创 2020-07-13 14:08:08 · 84 阅读 · 0 评论 -
查看CUDA版本
Windowsnvcc --version10.1Linux原创 2020-07-10 16:17:23 · 142 阅读 · 0 评论 -
ImageNet的1000个分类名称
0: 'tench, Tinca tinca', 1: 'goldfish, Carassius auratus', 2: 'great white shark, white shark, man-eater, man-eating shark, Carcharodon carcharias', 3: 'tiger shark, Galeocerdo cuvieri', 4: 'hammerhead, hammerhead shark', 5: 'electric ray, crampfi...原创 2020-07-10 15:43:03 · 6584 阅读 · 0 评论 -
SSD网络结构
SSD采用VGG16作为基础模型,然后在VGG16的基础上新增了卷积层来获得更多的特征图以用于检测。SSD的网络结构如图5所示。上面是SSD模型,下面是Yolo模型,可以明显看到SSD利用了多尺度的特征图做检测。模型的输入图片大小是 [公式] (还可以是 [公式] ,其与前者网络结构没有差别,只是最后新增一个卷积层,本文不再讨论)...转载 2020-07-10 14:21:46 · 1330 阅读 · 0 评论 -
MobileNetV2 和 V1, V3和ResNet
MobileNet 由谷歌在 2017 年提出,是一款专注于在移动设备和嵌入式设备上的轻量级CNN神经网络,并迅速衍生了 v1 v2 v3 三个版本;相比于传统的 CNN 网络,在准确率小幅降低的前提下,大大减小模型参数和运算量。1MobileNetV2 和 V1之间有啥不同?主要是两点:Depth-wise convolution之前多了一个1*1的“扩张”层,目的是为了提升通道数,获得更多特征; 最后不采用Relu,而是Linear,目的是防止Relu破坏特征。...原创 2020-07-09 15:02:27 · 2431 阅读 · 0 评论 -
激活函数
激活函数在神经网络中,激活函数不是真的去激活什么,而是用激活函数给神经网络加入一些非线性因素,使得网络可以更好地解决较为复杂的问题。比如有些问题是线性可分的,而现实场景中更多问题不是线性可分的,若不使用激活函数则难以拟合非线性问题,测试时会有低准确率。所以激活函数主要是非线性的,如sigmoid、tanh、relu。sigmoid函数通常用于二分类,但要防止梯度消失,故适合浅层神经网络且需要配备较小的初始化权重,tanh函数具有中心对称性,适合于有对称性的二分类。在深度学习中,relu是使用最多的激转载 2020-07-08 16:22:40 · 139 阅读 · 0 评论 -
一些网址的记录
从CVPR2020可以看出哪些人工智能的研究热点和未来趋势?全球规模最大场景最丰富自动驾驶算法挑战赛,中国AI芯片公司霸榜4项第一22 款神经网络的设计和可视化工具,让你的论文更酷炫Yolov3 训练自己的数据集 Pytorch 最简单 最少代码 最易调参YOLOV3训练自己的数据集(PyTorch版本)Pytorch 版YOLOV3训练自己的数据集如何使用Pytorch实现YOLOv3训练自己的数据集(详尽版)Pytorch实现YOLOv3训练自己的数据集...原创 2020-07-08 15:37:40 · 137 阅读 · 0 评论 -
我非常喜欢linus下面这段话
我非常喜欢linus下面这段话,我自己不是一个梦想家,只是一个工程师,很高兴有这么多的人在仰望天空,但我只是看着地面,想在我自己摔倒之前填上面前的坑洼。“我们意识到情感识别这个问题是有很多不确定的,但是还是要去做识别啊。那我们何不在训练时候对一些不确定的样例进行抑制呢,这样网络学习出来的就不会是模棱两可了,也不会让网络过多关注那些不确定的样例了。因此,经过几晚思考,我把这个思路称为Suppressing Uncertainties..."[1]Reference...原创 2020-07-08 15:30:25 · 157 阅读 · 0 评论 -
人脸表情识别,即FER(Facial Expression Recognition) II
"How do you get a machine to go beyond object recognition and learn to understand emotions..."是人工智能接下来要发力的通过观察错误分类样例发现,这些样例其实我们自己也不确定,而且判断的和标注也是大相径庭。于是乎,我们也是发现国内几家做表情比较多的机构和一些高质量文章都开始变化了。...转载 2020-07-08 11:21:02 · 610 阅读 · 0 评论 -
人脸表情识别,即FER(Facial Expression Recognition)
“Hmmm,这些年的领域内的思考产生了各种表情问题,是不是能够follow几个继续提升提升呢。这个问题实在不好回答,就像下面奥巴马被标注成这样的标注,但是我总感觉他不会fear,更像是一种点头肯定哪个努力搞科研的小伙。。。”...转载 2020-07-08 11:17:54 · 570 阅读 · 0 评论 -
Face - align_dlib.py
#Code from:cmusatyalab/openface# Copyright 2015-2016 Carnegie Mellon University## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# You may obtain a copy of the Lice.转载 2020-07-02 17:37:47 · 263 阅读 · 0 评论