深度学习
sparkexpert
大数据挖掘技术(人工智能)的爱好者
展开
-
python包编译过程中出现: /usr/local/cuda-9.0/nvcc: No such file or directory问题的简单解决办法
在安装torch.sparse包的过程中,出现/usr/local/cuda-9.0/nvcc: No such file or directory的错误,而检查nvcc是否已经安装的时候,这些在安装cuda时候都是已经安装过的。再仔细查看问题原因,发现在nvcc'后面多了个引号,非常奇怪的一个错误。为了避免对系统进行修改(主要也没有系统权限),简单一个重新export CUDA_HOME操作...原创 2019-12-25 09:50:54 · 9217 阅读 · 13 评论 -
目标检测框架mmdetection框架的安装与测试
最近利用Conda终于成功安装了mmdetection,说实话,非conda的还真的不好装,特别在.complie的时候,即使成功,总是会出现各种问题,直到conda安装后,才明白之前的问题关键所在,即必须numpy为1.16.2版本,且pytorch需要为1.0版本。之前从release版本中下载了0.4.1的版本,还是有问题。1、框架介绍这个框架还是非常清晰的,整个代码从骨架,模型,B...原创 2019-03-06 16:23:27 · 12469 阅读 · 22 评论 -
MxNet预训练模型到Pytorch模型的转换
预训练模型在不同深度学习框架中的转换是一种常见的任务。今天刚好DPN预训练模型转换问题,顺手将这个过程记录一下。核心转换函数如下所示:def convert_from_mxnet(model, checkpoint_prefix, debug=False): _, mxnet_weights, mxnet_aux = mxnet.model.load_checkpoint(checkpoi...原创 2018-06-28 20:28:30 · 4069 阅读 · 5 评论 -
NasNet实践:图像识别领域最佳模型
谷歌最近推出的NasNet,是当前图像识别领域的最佳模型,近日对此模型进行复现了下,也大致了解了其原理。这个模型并非是人为设计出来的,而是通过谷歌很早之前推出的AutoML自动训练出来的。该项目目的是实现“自动化的机器学习”,即训练机器学习的软件来打造机器学习的软件,自行开发新系统的代码层,它也是一种神经架构搜索技术(Neural Architecture Search technology)...原创 2018-04-06 21:12:39 · 16911 阅读 · 0 评论 -
基于CNN的图像超分辨率重建
图像尺寸变大且变清晰是图像处理的内在需求之一,然而现有的图像分辨率固定的情况下,从低分辨率到高分辨率的扩展常伴来了模糊、噪声的问题,即Single image super-resolution (SISR) aims to recover a high-resolution (HR) version of a low-resolution (LR) input. 因此深度学习架构下的图像超分辨...原创 2018-04-05 15:33:31 · 5809 阅读 · 2 评论 -
基于CNN的图像增强之去模糊
图像模糊产生的原因非常多, 主要如下:(1)相机抖动. □ 拍摄时相机不稳. □ 全部画面被模糊. (2)物体的运动. □ 部分物体运动. □ 不同区域模糊不同. (3) 镜头失焦. □ 大光圈小景深时的效果. 等等。今天在看Learning Deep CNN Denoiser Prior for Image Restoration (CVPR, 2017) 的文章,里面涵盖的内容非常全,其中模糊...原创 2018-04-05 11:20:53 · 16458 阅读 · 5 评论 -
基于CNN的图像滤境操作之去噪声
图像去噪声是图像增强、图像重建的重要内容之一,在现实中,很多图像难免存在噪声的问题,从而影响了图像的判别。当然图像去噪声在现有的图像处理软件中也比较成熟。 找到了一篇基于CNN的图像去噪声的论文,FFDNet: Toward a Fast and Flexible Solution for CNN based Image Denoising,对其结果进行复现,效果挺不错的。特记录如下: 在...原创 2018-04-05 10:19:56 · 7342 阅读 · 4 评论 -
ubuntu matlab中安装MatConvNet工具箱(支持GPU,mexcuda报错问题)
很早以前就装过MatConvNet,但是最近机器重启时发现要用到这个工具箱的时候却发现找不到了,只能重新安装了。MatConvNet is a MATLAB toolbox implementing Convolutional Neural Networks (CNNs) for computer vision applications. It is simple, efficient, and ...原创 2018-04-05 10:02:20 · 1469 阅读 · 0 评论 -
DrQA实践
2017年七月份Facebook开源了其开放域问答系统DrQA的代码。关于DrQA,还有一篇2017年发表在ACL上的论文《Reading Wikipedia to Answer Open-Domain Questions》,在此首先介绍一下论文的原理。 DrQA模型主要分为两部分,第一部分Retriever和第二部分Reader,Retriever根据问题检索出维基百科语料库中最相关的原创 2017-09-10 23:20:13 · 4861 阅读 · 11 评论 -
pix2pix tensorflow试验(GAN之图像转图像的操作)
GAN是一种典型的概率生成模型,其核心思想是:找出给定观测数据内部的统计规律,并且能够基于所得到的概率分布模型,产生全新的,与观测数据类似的数据。概率生成模型可以用于自然图像的生成。假设给定1000万张图片之后,生成模型可以自动学习到其内部分布,能够解释给定的训练图片,并同时生成新的图片。与庞大的真实数据相比,概率生成模型的参数个数要远远小于数据的数量。因此,在训练过程原创 2017-04-27 09:08:45 · 19015 阅读 · 3 评论 -
生成对抗网络(GAN)的一些知识整理(课件)
无监督学习是机器学习的未来,而现在GAN的出现,则为无监督学习带来了光明。鉴于GAN的火热,最近将从一些大牛分享资料中截取和整理的资料附图如下:最近测试了一下tensorflow环境下gan的例子。同时原创 2017-04-12 20:52:21 · 6114 阅读 · 4 评论 -
Deeplearning4j库学习
一、基础知识(了解) 背景知识: 如官网描述,dl4j-examples含有丰富的深度学习神经网络应用案例,这是一个为Java和Scala编写的首个商业级开源分布式深度学习库。DL4J与Hadoop和Spark集成,为商业环境(而非研究工具目的)所设计。Skymind是DL4J的商业支持机构。 Deeplearning4j的使用非常方便,它设计的目标是“即插即用”,通原创 2016-11-28 09:15:47 · 9049 阅读 · 3 评论 -
微软开源认知服务CNTK的测试(语音训练)
前段时间,微软开源了认知服务的工具箱,直到近期才有时间进行测试。看了文档,这个CNTK工具包还是非常厉害的,可以支持语音识别,图像分类,机器翻译等多种任务。里面也集成了多种深度学习的模型。such as deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networ原创 2016-11-25 09:25:18 · 4029 阅读 · 6 评论 -
deeplearning4j中编译lombok配置
在对deeplearning4j进行源码重组编译的时候,发现这个源码中很多地方都写得非常简略,没有GET,SET等这样的属性操作函数。而编译过程中经常会发生报错,究其原因就是没有找到GET或者SET属性的函数。上网一搜,才发现使用了lombok的JAR包的原因。而这个库已经下载了,但是需要进行一定的配置才可以。因此根据网上的配置,果然顺利搞定。原创 2016-05-15 23:23:05 · 964 阅读 · 0 评论