- 博客(19)
- 收藏
- 关注
RSS订阅转载 fastText原理和文本分类，详细介绍google的fasttext使用
https://blog.csdn.net/feilong_csdn/article/details/88655927
2020-07-16 20:51:41
292
原创 一些解决conda下载速度慢的变通方法
1、常规方法是换源https://blog.csdn.net/sinat_28442665/article/details/866585932、从其他网站下载好安装包，然后使用conda本地安装方法具体方法可以参考1.https://blog.csdn.net/zhaotun123/article/details/1007655102.https://zhuanlan.zhihu.com/p/141410369?from_voters_page=true使用ubuntu可以使用wget + ur
2020-07-06 14:41:25
1939
转载 BatchNorm、LayerNorm、InstanceNorm、GroupNorm的区别
https://www.cnblogs.com/wanghui-garcia/p/10877700.html
2020-06-01 11:00:51
1092
原创 记录错误：ubuntu错误使用ctrl+z和kill退出程序导致僵尸程序
最近使用服务器在跑Python程序，将神经网络和数据读入显卡0和1中进行训练，错误将ctrl+z当作中断程序的命令，同时还使用kill将显卡中的进程杀死，导致之后无法重新训练，同时无法使用nvidia-smi。输入有关显卡的命令（nvidia-smi，torch.cuda.is_available()）均直接卡住，只能关闭终端。ctrl+z只是将程序挂起，放入后台，但是并不是真正中断程序，中断程序请用ctrl+c。后来经过一番搜索，错误根源还是在于使用kill将显卡中的进程中断。显卡中的进程虽然已经中断
2020-05-30 17:16:29
1433
1
原创 使用PyTorch-OpCounter工具出现错误：module must have its parameters and buffers on device cuda
最近使用PyTorch-OpCounter工具来计算网络的FLOPs出现以下错误，在网上搜寻了很久都没有答案，后面通过分析解决问题，记录一下。出现的错误：module must have its parameters and buffers on device cuda:0(device_ids[0]) but found one of them on device:cpu1、背景首先是正常训练好一个模型，然后写了一个脚本使用OpCounter工具来计算FLOPs。当使用脚本的时候一直出现这个错误，没
2020-05-17 21:57:50
3107
1
原创 卷积的python实现
import numpy as npimport mathclass Conv2D(object): def __init__(self, shape, output_channels, ksize=3, stride=1, method='VALID'): self.input_shape = shape self.output_channels = output_channels self.input_channels = shape[-1]
2020-05-12 21:54:10
2603
原创 直方图均衡化原理及C++实现
直方图均衡化是常用的图像增强的方法。通过一种映射改变图像中的灰度值，增加图像灰度值的动态范围从而增加图像的对比度。过度曝光的图像中的灰度值主要集中在高亮度的范围内，而曝光不足的图像中的灰度值主要集中在低亮度的范围内。使用直方图均衡化技术可以使得整幅图像的灰度值均匀分布在整个动态范围，从而增加图像的对比度，提升视觉观感。1、直方图的基本概念首先介绍一下直方图的基本概念，直方图是对图像像素值的统计，一般像素值的范围为0~255；直方图是对各个不同灰度值的像素进行统计，下面是一张直方图。下面下面是几种图像
2020-05-10 20:02:03
5689
1
原创 C/C++中字符型数字和数值型数字相互转换方法及原理，附字母大小写变换方法
最近碰到这个问题，应该是老生常谈了，第一碰到这个问题应该是上C语言课上以及课本后面的习题，这次来复习一下。这个问题关键在于对ASCII码的了解。首先简单复习一下什么是ASCII码，ASCII码是由美国国家标准学会制定的美国标准信息交换代码，是一种标准的单字节字符编码方案，用于基于文本的数据。说白了，就是用数字来表示字符，毕竟计算机里存储的都是数字，没法直接存储字符，所以使用一些数字来表示字符，这就是ASCII码的作用。比如字符0，ASCII码为48（十进制）；大写字母A的ASCII码为65（十进制），可
2020-05-08 19:13:58
7015
原创 深度学习用于图像/视频增强的损失函数(loss)及评价指标
图像/视频增强一般包含去噪、超分辨率等等，如何来评价经过增强后的图像就需要衡量指标来评定，图像质量评价从方法上可分为主观评价方法和客观评价方法，本文主要介绍客观评价方法中三个重要的评价指标均方误差（MSE，Mean Squared Error）、峰值信噪比（PSNR，Peak Signal to Noise Rate）和结构相似性(SSIM,Structural Similarity）。在深度学...
2020-05-07 17:53:31
9199
原创 轻量化网络（七）ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
这篇由旷视提出的ShuffleNet V2主要是直接指标来衡量轻量化网络。过去许多文章都是以FLOPs为指标，FLOPs是一个间接衡量网络的理论指标。在实际中，FLOPs越低并不一定代表网络运行速度越快，比如MobileNet v2 比NASNET-A更快，但是拥有近似的FLOPs。在一些情况下，FLOPs低的网络反而运行速度更慢。因为还涉及到 memory access cost (MAC)以及平台...
2020-04-18 16:40:10
637
原创 轻量化网络（六）GhostNet: More Features from Cheap Operations
这篇由华为在2019出品的轻量化网络，主要是基于在特征中有很大的冗余，所以通过一些操作来减少通道数从而实现网络轻量化。作者提出的 Ghost module 可以在已有的神经网络中即插即用。在相似的计算量下，网络性能超过了MobileNet v3。论文链接Tensorflow实现Pytorch实现一、Ghost module神经网络中使用了大量的卷积核，导致了很大的计算量。如Figure ...
2020-04-17 16:52:28
782
原创 深度学习中组卷积(Group convolution)、深度卷积(Depthwise Convolution)以及深度可分离卷积(Depthwise Separable Convolution)的区别
在轻量化网络中，经常使用组卷积、深度卷积或是深度可分离卷积来降低FLOPs，那么三者的区别在哪里呢？下面总结一下。一、标准卷积下面是用一个卷积核对输入特征做一次卷积，得到的输出特征的通道为1。二、组卷积组卷积是将输入特征按通道分为g组，每组特征中的通道数为Cing\frac{C_{in}}{g}gCin，所以相应的卷积核的大小也变了，通道数变少了。每次卷积后的特征按通道concat输...
2020-04-17 10:51:02
5383
1
原创 轻量化网络（五）ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
ShuffleNet是由旷视推出的专门为移动设备设计的神经网络，主要使用了pointwise group convolution and channel shuffle这两个操作。实验在Arm端手机上运行，在保持精度不变的情况下，比 AlexNet提速了13倍。一、Channel Shuffle for Group Convolutions现在很多网络如Xception 和 ResNeXt都会使用深...
2020-04-17 09:47:50
379
原创 轻量化网络（四）Xception: Deep Learning with Depthwise Separable Convolutions
论文链接Pytorch实现Tensorflow实现Xception是2017年由Keras作者和谷歌著名人工智能专家Francois Chollet提出。
2020-04-13 15:24:40
290
原创 轻量化网络（三）Squeezenet: Alexnet-Level Accuracy With 50x Fewer Parameters And 0.5mb Model Size
论文链接Caffe实现Pytorch实现Tensorflow实现轻量化网络有至少以下三个优点：1、更小的网络在服务器上训练需要更少的计算量。2、更小的模型需要更少的带宽从云端下载到自动驾驶汽车上。3、更小的模型可以更灵活得部署在FPGAs和其他有限内存的硬件上。本文基于以上优点提出了SqueezeNet，保持模型性能不变的情况下，使得AlexNet模型减少了50倍的参数量。一、网络设计策...
2020-04-13 11:04:30
831
原创 轻量化网络（二）MobileNetV2: Inverted Residuals and Linear Bottlenecks
论文链接Pytorch实现Tensorflow实现Mobilenet V2是谷歌在Mobilenet V1上的进一步改进，第一版参考文章，是Mobilenet系列的第二篇。该文章以深度可分离卷积(Depthwise Separable Convolutions)为基础提出了Inverted Residuals and Linear Bottlenecks，深度可分离卷积在许多神经网络中有很大...
2020-04-12 09:49:29
493
原创 轻量化网络（一）MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
轻量化网络研究衡量指标MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也...
2020-04-09 17:09:19
669
原创 深度学习中FLOPs计算
深度学习中FLOPs计算定义：FLOPs（floating point operations），即浮点数运算次数，是一个计算量，所以可以用来衡量一个算法/模型等的复杂度FLOPs是用来计算整个网络模型中乘法/加法的运行次数，是衡量算法的间接指标。下面通过卷积的例子来阐述计算FLOPs的方式。假设输入特征大小：Hi×Wi×CiH_{i} \times W_{i} \times C_{i}Hi...
2020-04-08 15:23:47
4444
2
原创 安装blas cblas lapack
安装blas cblas lapack之前为了在Ubuntu编译一个文件，从源码进行安装这三个包，安装完后，依然无法编译成功，后来找到一种方法，直接安装编译好的库，分享给大家。sudo apt-get install libblas-dev checkinstallsudo apt-get install libblas-doc checkinstallsudo apt-get insta...
2019-02-28 14:58:11
1963
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人