人工智能
文章平均质量分 97
Beb1997
程序猿?程序猿!
展开
-
【深度学习】DETR解读
DETR论文解读原创 2022-01-15 16:17:07 · 3534 阅读 · 0 评论 -
【深度学习】过拟合抑制(一)权重衰减(weight decay)
文章目录理论双层感知机实验过拟合权重衰减小结及延伸线性回归实验过拟合现象权重衰减总结理论在我的上一篇博文【深度学习】模型评估与选择介绍了模型的过拟合是机器学习中不可避免的挑战,那么除了在数据集规模和模型复杂度的考虑上,有没有一些其它方法可以抑制过拟合现象呢?权重衰减(weight decay) 是一种常用的应对过拟合的方法,其等价于L2L_2L2范数正则化(regularization)。...原创 2018-12-25 18:39:52 · 17738 阅读 · 0 评论 -
【深度学习】一文带你了解主流神经网络
文章目录概述神经元和层神经元基本神经元卷积和解卷积神经元池化和插值神经元均值和标准差神经元循环神经元长短时记忆神经元门控循环单元层全连接层卷积层随机连接时延连接示例神经网络一览前馈神经网络径向基函数网络马尔科夫链霍普菲尔网络玻尔兹曼机受限玻尔兹曼机自编码机稀疏自编码机变分自编码机去噪自编码机深度信念网络卷积神经网络解卷积网络深度卷积逆向图网络生成对抗网络循环神经网络长短时记忆网络门控循环单元神经图...翻译 2019-01-12 13:53:59 · 5445 阅读 · 2 评论 -
【深度学习】基于深度学习的语义分割综述
文章目录前言语义分割的含义语义分割的方法随机森林patch classification全卷积网络典型方法小结FCNSegNetDilated ConvolutionDeepLab(v1 & v2)RefineNetPSPNetLarge Kernel MattersDeepLab v3由于笔者的研究方向涉及语义分割(Semantic Segmentation),近期在调研的时候发现一篇...翻译 2019-01-14 19:13:58 · 8590 阅读 · 0 评论 -
【深度学习】深度卷积网络AlexNet及其MXNet实现
文章目录AlexNet概述网络结构FashionMNIST数据集实验实验代码结果讨论参考文献AlexNet概述2012年,Alex Krizhevsky使用深度卷积网络在ImageNet 2012图像识别比赛中以很大的优势取胜,这一网络称之为AlexNet1。AlexNet和LeNet(可参考笔者另一篇博文【深度学习】LeNet网络及其MXNet实现)设计理念和结构类似,但使用了更多的卷积层...原创 2019-01-24 21:39:53 · 2611 阅读 · 0 评论 -
【深度学习】过拟合抑制(二)丢弃法(dropout)
概述前一篇文章【深度学习】过拟合抑制(一)权重衰减(weight decay)中,简要介绍了利用权重衰减进行过拟合拟制,在深度模型中还常用丢弃法应对过拟合问题。丢弃法有许多变体,这里的丢弃法为倒置丢弃法(inverted dropout)。本文为《动手学深度学习》一书学习笔记,原书地址:http://zh.d2l.ai/chapter_deep-learning-basics/dropout...原创 2019-01-15 15:49:12 · 4507 阅读 · 0 评论 -
【深度学习】浅析二维卷积层
文章目录二维互相关运算二维卷积层互相关运算和卷积运算特征图和感受野简单的边缘检测试验本文为《动手学深度学习》一书学习笔记,原文地址:http://zh.d2l.ai/chapter_convolutional-neural-networks/conv-layer.html二维互相关运算卷积神经网络(convolutional neural network)指带有卷积层(convolution...原创 2019-01-21 16:34:10 · 1993 阅读 · 0 评论 -
【深度学习】卷积网络LeNet及其MXNet实现
文章目录LeNet网络概述LeNet网络结构MNIST数据集实验实验代码结果讨论参考文献LeNet网络概述笔者在【深度学习】多层感知机(二)MXNet实现双层感知机一文中使用单隐藏层感知机模型对MNIST数据集中的手写数字图像进行了分类。MNIST数据集中每张图像尺寸都是28*28像素,将其按行展开将得到一个长度为784的向量,这也正是上述感知机模型全连接隐藏层的输入。在使用‘ReLU’激活函...原创 2019-01-22 18:28:11 · 2481 阅读 · 1 评论 -
【深度学习】含有并行连接的深度卷积网络GoogLeNet
文章目录GoogLeNet模型基础块Inception模型构建实验实验代码实验结果本文为《动手学深度学习》一书学习笔记,原文地址:http://zh.d2l.ai/chapter_convolutional-neural-networks/googlenet.htmlGoogLeNet模型基础块InceptionGoogLeNet中的基础卷积模块叫作Inception块,里面有4条并行的...原创 2019-02-17 20:32:09 · 2296 阅读 · 2 评论 -
【深度学习】语义分割 PASCAL VOC 2012 增强数据集
概述这个数据集是Hariharan[1]提供的做法,后来被广泛采用,包括[2][3][4][5][6],这里参考博文用于FCN的Pascal VOC 2012增强版语义分割数据集制作的步骤。其中的步骤已经描述得相当清楚,但是,文章提供的PASCAL VOC 2012语义分割数据集彩色标注转灰度图的脚本有错误,请使用笔者Debug之后的脚本:另外,上述博客的如下命令路径有误:python c...原创 2019-05-27 14:23:36 · 5655 阅读 · 5 评论 -
【深度学习】语义分割 PASCAL Context 数据集
数据集介绍PASCAL Context数据集由两部分组成:PASCAL VOC 2010 语义分割数据集;Context 标注。PASCAL Context 总共有459个标注类别,包含 10103 张图像,其中 4998 用于训练集,5105 用于验证集。现在最广泛地用法是使用其中出现频率最高的 59 个类别最为语义标签,其余类别标记为背景即background。采用这一做法的论文有...原创 2019-06-23 12:55:52 · 13412 阅读 · 25 评论 -
【深度学习】语义分割 NYUv2 数据集
去到NYU Depth V2 官网下载数据集,如下图所示。这里我们只是用RGB数据,不使用RGB-D数据(带深度信息),所以只需要下载Labeled dataset (~2.8 GB)即可。原始数据集使用.mat格式,这里需要将其转换为常见的RGB图像和.png格式的灰度标注图像。这里使用Github已有的脚本来实现转换任务。从这里 https://github.com/xmojiao/dee...原创 2019-06-23 13:15:59 · 10369 阅读 · 19 评论 -
【深度学习】Fashion-MNIST数据集简介
文章目录数据集简介操作下载数据集数据格式可视化显示读取小批量完整代码备注数据集简介不同于MNIST手写数据集,Fashion-MNIST数据集包含了10个类别的图像,分别是:t-shirt(T恤),trouser(牛仔裤),pullover(套衫),dress(裙子),coat(外套),sandal(凉鞋),shirt(衬衫),sneaker(运动鞋),bag(包),ankle boot(短靴...原创 2018-12-18 21:50:15 · 39622 阅读 · 1 评论 -
【深度学习】线性回归(三)使用MXNet深度学习框架实现线性回归
文章目录概述代码概述这篇文章使用MXNet深度学习框架中的Gluon包实现小批量随机梯度下降的线性回归问题。可以参考我的上一篇文章【深度学习】线性回归(二)小批量随机梯度下降及其python实现。主要包括:Gluon提供了data来读取数据Gluon的nn(neural network)模块定义了大量神经网络的层Gluon的initialize模块提供了模型参数初始化的方法Gluo...原创 2018-12-11 21:50:27 · 1170 阅读 · 0 评论 -
【深度学习】线性回归(二)小批量随机梯度下降及其python实现
文章目录概述小批量随机梯度下降解析解和数值解小批量随机梯度下降python实现需要的先验知识代码和实验概述本文在我的前一篇博客(【深度学习】线性回归(一)原理及python从0开始实现)的基础上,介绍一下深度学习中的小批量随机梯度下降方法(mini-batch stochastic gradient descent),将其应用在线性回归中。在不使用深度学习框架的前提下,使用Python进行了实...原创 2018-12-11 21:43:18 · 3494 阅读 · 0 评论 -
【深度学习】线性回归(一)原理及python从0开始实现
线性回归及其python实现线性回归单个属性的情况多元线性回归形式上的线性回归Python实现线性回归线性模型(linear model)通过属性的线性组合来进行预测,形如y=wx+by=wx+by=wx+b.当定数据集D={(x⃗1,y1),(x⃗2,y2),...,(x⃗m,ym)},yi∈RD=\{(\vec x_1,y_1),(\vec x_2,y_2),...,(\vec x_m,...原创 2018-11-28 22:53:42 · 2169 阅读 · 0 评论 -
【深度学习】TensorFlow版本概述
概述AVX指令集是一种较新的指令集,可以加速TensorFlow任务的执行速度。TensorFlow从version 1.6 开始默认从AVX编译二进制文件,所以现在通过pip install tensorflow默认安装支持AVX的TensorFlow版本。问题今天恰好为一台老机器(core-i3)安装TensorFlow cpu版本,安装完成之后,运行示例程序提示错误:The Tens...原创 2018-12-04 11:05:22 · 2148 阅读 · 2 评论 -
【深度学习】Softmax回归(一)概念和原理
文章目录概述SoftmaxSoftmox回归模型矢量形式Softmax运算交叉熵损失函数真实标签的变换平方损失函数交叉熵损失函数概述在前面的三篇文章中:【深度学习】线性回归(一)原理及python从0开始实现【深度学习】线性回归(二)小批量随机梯度下降及其python实现【深度学习】线性回归(三)使用MXNet深度学习框架实现线性回归介绍了线性回归的基本原理,自己动手使用Pytho...原创 2018-12-12 17:01:56 · 4805 阅读 · 0 评论 -
【深度学习】Softmax回归(二)Python从零开始实现
文章目录概述实现步骤导入需要的包读取数据初始化参数实现softmax运算定义Softmax模型定义损失函数计算准确率对模型进行训练进行测试完整代码和实验结果备注概述本文不使用深度学习框架来构建Softmax模型,从零开始实现Softmax回归,并使用Fashion-MNIXT数据集进行了实验。本文需要的前导知识可参考我之前的几篇博客:MXNET框架中NDArray的基本操作:【深度学习】M...原创 2018-12-19 15:52:47 · 2329 阅读 · 0 评论 -
【深度学习】Softmax回归(三)MXNet深度学习框架实现
概述本文使用MXNet深度学习框架来实现softmax回归模型,并利用Fashio-MNIST数据集进行实验。需要的前导知识可以参考我之前的博文:【深度学习】Softmax回归(一)概念和原理【深度学习】Softmax回归(二)Python从零开始实现实验和结果# coding=utf-8# author: BebDong# 2018/12/19# 使用MXNET框架的gluo...原创 2018-12-19 16:33:27 · 1356 阅读 · 0 评论 -
【深度学习】多层感知机(二)MXNet实现双层感知机
文章目录概述实现和实验概述在【深度学习】多层感知机(一)Python从零开始实现双层感知机一文中,我们使用Python实现了一个单隐藏层的神经网络,并在MNIST手写数据集上进行了实验,最后得到了95%左右的识别准确率。本文使用MXNet深度学习框架来实现上述博文中的单隐藏层神经网络,同样使用MNIST手写数据集进行实验。由于隐藏层和输出层都是全连接的,这样的神经网络也称之为多层感知机。本...原创 2018-12-19 20:13:45 · 2162 阅读 · 0 评论 -
【深度学习】MXNet自动求解函数梯度
文章目录概述示例with语句求解梯度代码概述本节需要先了解MXNet中NDArray的基本用法,可以参考我的前一篇博客:【深度学习】MXNet基本数据结构NDArray常用操作如下示例包括:MXNet中使用autograd包自动求解梯度;MXNet可以python中自定义的函数(一般化的命令式程序)求梯度;MXNet的运行模式包含训练模式和预测模式,可以通过特定函数进行判断。示例...原创 2018-12-10 22:08:54 · 2809 阅读 · 0 评论 -
【深度学习】MXNet基本数据结构NDArray常用操作
文章目录概述示例概述在MXNet深度学习框架中,NDArray是存储和变换数据的主要工具,和NumPy中的ndarray有异曲同工之妙。在下面的示例中,主要展示了:NDarray的创建;NDArray之间的基本运算;NDArray广播机制;NDArray索引;NDArray内存开销;NDArray和NumPy多维数组之间的转换。示例# coding=utf-8# aut...原创 2018-12-10 21:09:45 · 1774 阅读 · 0 评论 -
【深度学习】windows 10下CUDA+ cuDNN + MXNet/TensorFlow/TensorLayer 深度学习环境搭建
文章目录关于版本环境版本兼容关系搭建过程安装Anocanda安装CUDA和cuDNN创建虚拟环境结果检验MXNet检验:关于版本环境目标安装版本:Python 3.6 + CUDA 9.0 + cuDNN 7 + MXNet-cu90/TensorFlow 1.11/TensorLayer 1.11以上各版本之间有依赖关系,版本不兼容将出现运行问题。Ubuntu系统步骤一致,部分命令不完...原创 2018-12-09 17:54:39 · 2643 阅读 · 0 评论 -
【深度学习】模型评估与选择
文章目录引言训练误差与泛化误差过拟合和欠拟合模型选择留出法交叉验证法验证数据集K折交叉验证留一法自助法过拟合实验代码结果结果分析引言当我们观察我在博文【深度学习】多层感知机(二)MXNet实现双层感知机中的实验结果(下图)时,可以发现:当模型在训练数据集上更加准确时(迭代至第20次时,测试准确率已经接近99%),它在测试数据集上却不一定更加准确(测试数据集准确率不到98%)。这是为什么呢?...原创 2018-12-20 16:39:02 · 5212 阅读 · 0 评论 -
【深度学习】Ubuntu下CUDA+ cuDNN + TensorFlow/TensorLayer 深度学习环境搭建
文章目录概述安装Anaconda并创建环境安装CUDA和cuDNN下载安装CUDA下载安装cuDNN安装TensorFlow和TensorLayer检查安装结果概述搭建步骤同Windows平台,包括:确定安装各组件的版本,保证其相互之间能正常工作;修改conda和pip的默认镜像网站;安装最新版Anaconda,并使用其创建虚拟环境;安装CUDA和cuDNN;安装TensorFlo...原创 2018-12-09 23:07:21 · 1382 阅读 · 0 评论 -
【深度学习】多层感知机(一)Python从零开始实现双层感知机
Python简单神经网络定义神经网络的框架初始化定义神经网络的框架考虑一个神经网络,很容易可以抽象出三种操作:初始化函数:指定神经网络的层数,每一层的节点个数等,即指定神经网络的结构;训练函数:通过训练数据集优化权重;查询函数:通过测试数据集测试训练后的神经网络。为此,给出如下神经网络的类定义(神经网络的框架):# coding=utf-8# author: BebDong#...原创 2018-10-23 17:55:46 · 12793 阅读 · 18 评论