深度学习
文章平均质量分 85
竹篓有个天
如有侵权,请私信我
展开
-
计算机视觉方向相关前言知识了解
1.2021 cvpr 计算机视觉 4大方向 两大行业/1 使用对抗性例子学习比较经典的例子是一张熊猫的照片+0.7%的干扰矩阵,生成的图片在肉眼看来依旧是熊猫,但是系统会判定为长臂猿。因此需要使用对抗性例子学习以增强迁移学习能力,提高模型性能。/2 自监督和对比学习ML方法只依赖提供的标签/奖励,就会导致使用样本多,收敛性差,且针对特定任务需要设计对应的网络结构。自监督是指使用数据本身提供监督,通过对比正负样本,但是对数据要求较高。/3 视觉语言模型使用图像+文字对形式,应...原创 2021-09-13 20:59:53 · 265 阅读 · 0 评论 -
Jittor 深度学习框架入门(pytorch转换)、对比
1.PyTorch是一个开源的Python机器学习库,基于Torch,用于自然语言处理等应用程序。中文网站:https://pytorch-cn.readthedocs.io/zh/latest/2.NumPy(Numerical Python)是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix)),支持大量的维度数组与矩阵运算,此外也针对数组运原创 2021-09-08 21:08:24 · 2556 阅读 · 0 评论 -
CVPR2021论文--深度学习GAN&&图像处理--论文笔记
/1 Image-to-image Translation via Hierarchical Style Disentanglementpaper:https://arxiv.org/abs/2103.01456code:https://github.com/imlixinyang/HiSD/2 Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation(样式编码:用于图像到图像翻译的StyleGAN编码器)pa...原创 2021-06-23 11:02:29 · 1064 阅读 · 0 评论 -
新词汇--知识图谱概念、应用(智能搜索、数据分析、NLP)
参考链接:什么是知识图谱 为什么需要知识图谱? 知识图谱的技术与应用1.概念在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。通俗来...原创 2021-01-08 11:17:28 · 958 阅读 · 5 评论 -
医学图像彩色化相关--20201208论文笔记Bridging the gap between Natural and Medical Images through Deep Colorization
4. Bridging the gap between Natural and Medical Images through Deep Colorization摘要:深度学习通过在大规模数据集上进行训练而蓬勃发展。但在医学图像诊断的许多应用中,由于隐私性、采集同质性差、标注成本高等原因,仍然无法获取大量数据。在这种情况下,从自然图像集合中转移学习是一种标准做法,它试图通过预先训练的模型微调来一次性处理形状、纹理和颜色差异。在这项工作中,我们建议解开这些挑战,并设计一个专门的网络模块,侧重于颜色适应。我们原创 2020-12-08 20:48:43 · 768 阅读 · 0 评论 -
lsun数据集下载、转换、使用
最近复现SAGAN用到了lsun数据集1.下载地址http://dl.yf.io/lsun/scenes/ 我下载了church_outdoor_train_lmdb.zip中间还安装了lmdb库2.转换一般下载的data.py(转换代码)有bug,这段代码已经进行了修复,编译脚本并运行即可python data.py export ./church_outdoor_train_lmdb --out_dir ./lsun --flat# -*- coding: utf...原创 2020-10-09 11:10:50 · 4523 阅读 · 2 评论 -
成功解决can‘t pickle Environment objects和Ran out of input
成功解决ForkingPickler(file, protocol).dump(obj) TypeError: can't pickle Environment objects以及self = reduction.pickle.load(from_parent) EOFError: Ran out of input本人是在调试lsun数据集&&神经网络代码时出现,问题显示如下:因为windows操作系统的原因,在Windows中,多进程multiprocessing使用的是序原创 2020-09-28 15:03:40 · 5398 阅读 · 12 评论 -
20200916-GAN+图像处理-论文分享
/4 Robust Image Colorization using Self Attention based Progressive Generative Adversarial Network(在论文Self-Attention Generative Adversarial Networks的基础上做的)主要内容:图像自动着色的不确定性+灰度噪声图像。本文提出了一种基于自注意的渐进生成对抗网络(RIC-SPGAN,Robust Image Colorization using Self-atten.原创 2020-09-16 20:21:39 · 1163 阅读 · 0 评论 -
基于GAN的图像修复--论文笔记
/1 Region Normalization for Image Inpainting主要内容:将损坏的图像输入到神经网络中可能会产生问题,例如无效像素的卷积、归一化的均值和方差。但是,当前方法无法解决网络中的均值和方差漂移问题。当前方法大多采用 feature normalization(FN,特征归一化) 进行训练,这些FN方法大多在空间维度上进行归一化,忽略了损坏区域对归一化的影响。本文提出Region normalization((RN,区域归一化)来解决上述问题。根据输入的mask(隐码..原创 2020-08-30 20:51:18 · 10081 阅读 · 4 评论 -
20200811--计算机视觉&GAN--论文推荐
1.Bhattacharjee, Deblina, et al. "DUNIT: Detection-Based Unsupervised Image-to-Image Translation."Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.主要内容:大多数图像转换方法将图像视为一个整体,这使得它们生成的效果内容丰富,却不够逼真现实。本文介绍了一种基于检测的无监督图像到图像.原创 2020-08-11 12:47:19 · 400 阅读 · 0 评论 -
20200807-计算机视觉&GAN--论文推荐
1.Li D , Yao A , Chen Q . PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer[J]. 2020.主要内容:尽管卷积神经网络(CNN)具有强大的建模能力,但是通常对尺度敏感,因此本文主要提出了PSConv(多尺度卷积)。为了增强CNN尺度变化的鲁棒性,来自不同层或filters的多尺度特征融合在现有解决方案中引起了极大的关注,而更细粒度的kernel空间却被忽略了。我们原创 2020-08-07 18:02:30 · 638 阅读 · 0 评论 -
论文阅读20200603
1.基于卷积神经网络的蜡染染色模拟算法步骤:基于距离变换生成裂纹,并添加高斯噪声使得到的裂纹更真实 使用Labelme进行语义分割,分割内容图和风格图中的特定区域,生成标签 使用PhotoWCT算法对图像的内容图进行染色,并通过像素相似性对染色结果进行平滑PhotoWCT的网络结构为编码解码结构。编码器采用VGG19,采用像素重建损失和特征损失训练解码器。编码器与解码器对称,解码器采用上池化层,并加入池化掩码以记录相应池化层中每个最大池化区域的最大值。训练编码器..原创 2020-06-03 23:30:18 · 253 阅读 · 0 评论 -
CVPR2020:Learning in the Frequency Domain(翻译)(二)
图像分析新方法:“频域学习”(Learning in the Frequency Domain)就是省略图像压缩/解压缩中计算量最大的步骤,直接利用频域特征来进行图像推理,减少系统中模块之间的数据传输量,从而提升系统性能。输入的数据量更小,深度神经网络在图像分类/分割任务上的精度反而提升了。论文地址:https://arxiv.org/pdf/2002.12416.pdf图1...翻译 2020-03-13 00:41:09 · 3047 阅读 · 5 评论 -
(已解决)pytorch错误:RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED (安装cuda)
RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED原因:pytorch与cuda版本不对先卸载了pytorch:conda uninstall pytorch,再安装cuda的话,会自动覆盖cuda版本。打开cmd,命令行输入import torchprint(torch.__version__)print(tor...原创 2020-02-08 17:54:29 · 55273 阅读 · 11 评论 -
pytorch实现wGAN(附代码)
WGAN在GAN上加入了wasserstein ditance做了改善:有一个梯度惩罚项,X是做了一个线性插值。梯度惩罚:惩罚系数取0.2,总训练5000次,批次为512,优化器同上。代码:# -*- coding: utf-8 -*-"""Created on Tue Jan 14 16:37:46 2020@author: ZM"""import torc...原创 2020-02-02 19:09:15 · 7524 阅读 · 12 评论 -
pytorch实现GAN(附代码)
GAN定义的生成器和判别器网络结构:GAN训练:首先训练D,每迭代训练5次D再迭代训练一次G,总训练5000次,批次为512。数据集为8个高斯混合模型,使得GAN去拟合一个圆上的8个分布点。根据GAN的loss函数,使得D尽可能的大,G尽可能的小,所以D取负数。过程中用到了visdom可视化工具。import visdomviz = visdom.Visdo...原创 2020-02-02 19:05:34 · 5016 阅读 · 0 评论 -
pytorch基础(附代码)
1.基本数据类型:pytorch只是一个GPU加速库,不支持String,使用编码表示。不同维度数据类型不同。dim=0:loss表示;dim=1: bias/linear input;dim=2:linear input batch;dim=3: RNN input batch; dim=4: 图片[b,c,h,w].#要有文件声明import torch,随机生成一个服从...原创 2020-02-02 18:55:05 · 457 阅读 · 0 评论 -
基于pytorch实现手写数字识别(附python代码)
/1加载图片:加载数据集,没有的话会自动下载,数据分布在0附近,并打散。训练集:测试集=6k:1k。utils.py文件:plot_image()绘制loss下降曲线; plot_curve()显示图片通过plot_image()可视化结果。minst_train.py文件:读取Minst数据集/2 加载模型:三层线性模型,前两层用ReLU函数,batch_size=512,一张图片2...原创 2020-02-02 18:35:30 · 4484 阅读 · 0 评论 -
新词汇:元学习/增强学习
/1强化学习/增强学习 Reinforcement Learning参考 cs231n 14节课 深度增强学习强化学习是一种无监督学习,即输入数据x没有label,需要找出隐藏的数据结构。Markov Decision Process(MDP,马尔可夫决策过程)是强化学习的数学表示,满足Markov 性,即当前状态完全刻画世界状态。马尔可夫决策步骤:1* t=0,初始状态s0从p(...原创 2020-02-02 14:47:36 · 534 阅读 · 0 评论 -
A Style-Based Generator Architecture for Generative Adversarial Networks 翻译3&4
3.基于样式的生成器的属性我们的生成器架构使得通过对样式进行特定比例的修改来控制图像合成成为可能。我们可以将映射网络和仿射变换视为从学习分布中为每个样式提取样本的方法,而将合成网络视为基于样式集合生成新图像的方法。每个样式的效果都在网络中本地化,即修改样式的特定子集可能会影响只有图像的某些方面。为了了解这种局部化的原因,让我们考虑AdaIN操作(公式1)如何首先将每个信道规格化为零平均值和...原创 2020-01-02 13:40:32 · 673 阅读 · 1 评论 -
A Style-Based Generator Architecture for Generative Adversarial Networks 翻译1&2
A Style-Based Generator Architecture for Generative Adversarial Networks一个基于样式的用于生成对抗网络的生成器架构这是一个很重要的关于GAN的文章,StyleGAN模型可以说在这方面是最好的,尤其是在隐空间控制中。该模型使用称为自适应实例归一化(AdaIN)的神经风格转移机制来控制隐空间向量z,而不像之前的其他方式。映...原创 2019-12-19 18:31:30 · 709 阅读 · 0 评论 -
计算机视觉入门(包含论文学习网址)
阅读了微信公众号的一些文章并总结。谷歌学术镜像:http://scholar.hedasudi.com/学习网址:(可以改网址的年代,可以先观看视频,再看PPT和文章)http://kesen.realtimerendering.com/siga2019Papers.htmhttp://kesen.realtimerendering.com/sca2019Papers.htmhttp:...原创 2019-11-30 14:26:06 · 603 阅读 · 0 评论 -
GAN, pix2pix, CycleGAN和pix2pixHD
参考视频:CS231n 16.1 对抗样本和对抗训练GAMES Webinar 2018-64期-朱俊彦CS231n 16 对抗样本和对抗训练/1 什么是对抗样本?2013年以来,我们使用深度学习、卷积网络、梯度下降来实现分类识别等任务。对抗样本:人们用心构造出来会被分错类的样本。例如:我们构造一个网络参数的函数(移动所有像素的最优方向,在人们看来很像是噪声)并乘以很小的...原创 2019-11-03 18:18:32 · 814 阅读 · 0 评论 -
Faster-RCNN(Region Proposal Networks)
目标检测算法分成3类:1. 传统的目标检测算法:Cascade + HOG/DPM + Haar/SVM以及上述方法的诸多改进、优化;2. 候选区域/框 + 深度学习分类:通过提取候选区域,并对相应区域进行以深度学习方法为主的分类的方案,如:R-CNN(Selective Search + CNN + SVM、SPP-net(ROI Pooling、Fast R-CNN(Selecti...原创 2019-10-13 21:35:40 · 559 阅读 · 0 评论 -
(局部特征)HOG+SVM,LBP,Haar
在利用多幅二维图像进行三维重建、恢复场景三维结构的应用中,其基本出发点是要有一个可靠的图像对应点集合,而自动地建立图像之间、点与点之间的可靠对应关系通常都依赖于一个优秀的局部图像特征描述子。在物体识别中,目前非常流行以及切实可行的方法之一是基于局部特征的,由于特征的局部性,使得物体识别可以处理遮挡、复杂背景等比较复杂的情况。局部图像特征描述的核心问题是不变性(鲁棒性)和可区分性。由于使用局部...原创 2019-10-12 20:58:04 · 3949 阅读 · 0 评论 -
深度学习&图像处理(计算摄影2)
1.计算摄影计算摄影,就是将计算和摄影相结合,传统的单反摄影,比较注重元器件的设计,尤其是镜头以及传感器,而现在的手机摄影,对算法的运用可以说是发挥到了极致。研究的就是如何突破传统摄影的限制,应用相应的算法去更好,更加生动的捕捉,表示,呈现我们的现实世界。2.LUV坐标&CIELUV坐标RGB颜色空间最常用的用途就是显示器系统,彩色阴极射线管、彩色光栅图形的显示器都使用R、G、...原创 2019-09-06 14:57:06 · 832 阅读 · 0 评论 -
深度学习&图像处理(色彩编辑4)
1.YUV转换YUV,是一种颜色编码方法。“Y”表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。YUV颜色模式的Y通道与UV是分离的,没有UV色度信号的话则表示黑白图像。YUV主要用于彩色视频的优化,被用在彩色电视系统中,可以兼容黑白电视,黑白电视和彩色电视在接受...原创 2019-09-09 19:14:51 · 1681 阅读 · 0 评论 -
深度学习&图像处理(神经网络结构优化5)
神经网络结构优化设计方法与研究1.研究背景BP算法与RBF算法BP全称BackPropagation,也就是误差反向传播算法,它的基本思想是梯度下降法,采用梯度搜索技术,通过链式求导法则,最终使得网络输出和期望输出的误差方差最小,是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法,人们也常把将多层前馈网络直接称为BP网络。径向基函...原创 2019-09-09 20:09:07 · 842 阅读 · 0 评论 -
深度学习&图像处理(深度学习相关文献学习6)
《Rethinking the Inception Architecture for Computer Vision》1.给出了一些已经被证明有效的用于放大网络的通用准则和优化方法。避免表达瓶颈,特别是在网络靠前的地方。 信息流前向传播过程中显然不能经过高度压缩的层,即表达瓶颈。从input到output,feature map的宽和高基本都会逐渐变小,但是不能一下子就变得很小。另外输出的...原创 2019-09-09 21:44:10 · 755 阅读 · 0 评论 -
深度学习&图像处理(神经网络、卷积神经网络、Googlenet 模型、inception架构7)
1.神经网络:经典的神经网络-------------输入层 中间层 输出层Ps:1.设计一个神经网络时,输入层与输出层的节点数往往是固定的,中间层则可以自由指定;2.拓扑与箭头代表着预测过程时数据的流向,跟训练时的数据流有一定的区别;3.结构图里的关键是神经元之间的连接。每个连接线对应一个不同的权重,需要训练得到。Ps:训练单层神经网络,使用的激活函数是s...原创 2019-09-10 21:47:14 · 2103 阅读 · 0 评论 -
深度学习&图像处理(8 GoogLeNet思想、Inception v1-v4)
1.GoogLeNet思想一般来说,提升网络性能最直接的办法就是增加网络深度和宽度,深度指网络层次数量、宽度指神经元数量。但这种方式存在以下问题:(1)参数太多,如果训练数据集有限,很容易产生过拟合;(2)网络越大、参数越多,计算复杂度越大,难以应用;(3)网络越深,容易出现梯度弥散问题(梯度越往后穿越容易消失),难以优化模型。解决这些问题的方法当然就是在增加网络深度和宽度的...原创 2019-09-10 21:48:20 · 1951 阅读 · 0 评论 -
cs231n 计算机视觉(学习笔记1-3)
1.1 学习深度学习可以刷斯坦福大学视频cs231n:计算机视觉概述cs131:深度学习与自然语言cs231a:较为全面,3D建模1.2 计算机发展历程与cs231n课程整体概况眼睛进化->机器加入视觉->机器学习->深度学习1.3 课程背景从图像分类出发,Image比赛尤为值得关注。AlexNet(7层)->VGG(19层)->残差(...原创 2019-09-30 15:24:19 · 401 阅读 · 0 评论 -
深度学习&图像处理(深度学习的医学图像分割3.1)
基于深度学习的医学图像分割模型研究_曹祺炜1.基于改进的3D-FCN+CRF以及MS-CapsNetGAN实现脑肿瘤图像分割图像语义分割,简单而言就是给定一张图片,对图片上的每一个像素点分类,不同颜色代表不同类别。图像分割的主要步骤:图像预处理、数据准备以及图像特征提取、分类器分类和后期处理。前端使用FCN进行特征粗提取,后端使用CRF/MRF优化前端的输出,最后得到分割图。FCN-全...原创 2019-09-06 17:19:55 · 6182 阅读 · 0 评论 -
CNN & Python实现(tensorflow构建一个CNN、Keras)
1.TensorFlow:开源;采用 数据流图(Data flow graphs)来计算(计算图);在会话 (Session) 的上下文 (Context) 中执行图with tf.Session() as sess: result = sess.run([pro]) print(result)with...Device语句用来指派特定的 CPU 或 GPU 执行操作:...原创 2019-09-22 17:29:50 · 2797 阅读 · 0 评论 -
图像彩色化方法(深度学习)
无论是基于局部颜色扩展的着色方法,还是基于颜色传递的着色方法,都是具有一定的局限性,而将深度学习的思想应用于图像着色中,可以对于传统着色方法的局限性有针对性的进行改进。利用深度神经网络和彩色图像数据集训练出模型,便可根据模型来着色其他黑白图像,无须人为因素或其他因素影响。基于深度学习的图像着色方法大致为以下四个步骤:制作数据集:大部分的深度学习算法都需要海量的数据集作为数据驱动,通过算法来...原创 2019-09-28 13:49:29 · 6102 阅读 · 1 评论 -
深度学习&图像处理(深度学习在图像处理领域中的应用综述1)
殷琪林,王金伟.深度学习在图像处理领域中的应用综述[J].高教学刊,2018(09):72-741.特征表达/提取方法->特征学习图像特征是指图像的原始特性或属性,可以分为视觉特征或统计特征。视觉特征主要是人的视觉直觉感受的自然特征(图像的颜色、纹理和形状);统计特征是指需要通过变换或测量才能得到的人为特征(频谱、直方图等)。常见特征提取方法:LBP算法(Local Bina...原创 2019-09-06 14:26:52 · 11713 阅读 · 7 评论