深度学习
aiAIman
这个作者很懒,什么都没留下…
展开
-
带你俯瞰经典CNN网络--AlexNet & VGG & GoogLeNet & ResNet一起和大佬们灵感互动
带你俯瞰经典CNN网络–AlexNet & VGG & GoogLeNet & ResNet一起和大佬们灵感互动 概述本文主要目的是带各位小伙伴畅游一下经典的CNN网络发展历程,感受一下大佬的灵感闪光点,让我们对目前深度学习CNN的最新前沿技术发展有个上帝视角的了解。毕竟,关注这篇文章的小伙伴都是深度学习的爱好者,为了赶上技术发展,我们必须站在巨人的肩膀,知道什么是好的,可以直接用,什么是可以再优化的。 友情提醒,阅读本文需要一定CNN基础哦,这样食用风原创 2020-11-18 20:45:51 · 319 阅读 · 0 评论 -
5 NLP自然语言处理入门--词向量embedding&代码实现(百度架构师手把手带你零基础实践深度学习原版笔记系列)
5 NLP自然语言处理入门--词向量(百度架构师手把手带你零基础实践深度学习原版笔记系列)自然语言处理技术面临的挑战如何让机器像人一样,能够准确理解和使用自然语言?这是当前自然语言处理领域面临的最大挑战。为了解决这一问题,我们需要从语言学和计算两个角度思考。语言学角度自然语言数量多、形态各异,理解自然语言对人来说本身也是一件复杂的事情,如同义词、情感倾向、歧义性、长文本处理、语言惯性表达等。通过如下几个例子,我们一同感受一下。同义词问题请问下列词语是否为同义词...原创 2020-10-22 21:45:33 · 2907 阅读 · 2 评论 -
4.6 目标检测YOLO-V3算法--多尺度检测(百度架构师手把手带你零基础实践深度学习原版笔记系列)
4.6目标检测YOLO-V3算法--多尺度检测(百度架构师手把手带你零基础实践深度学习原版笔记系列)多尺度检测目前我们计算损失函数是在特征图P0的基础上进行的,它的步幅stride=32。特征图的尺寸比较小,像素点数目比较少,每个像素点的感受野很大,具有非常丰富的高层级语义信息,可能比较容易检测到较大的目标。为了能够检测到尺寸较小的那些目标,需要在尺寸较大的特征图上面建立预测输出。如果我们在C2或者C1这种层级的特征图上直接产生预测输出,可能面临新的问题,它们没有经过充分的特征提取,像...原创 2020-10-19 21:21:56 · 1306 阅读 · 0 评论 -
4.5 目标检测YOLO-V3算法--损失函数(百度架构师手把手带你零基础实践深度学习原版笔记系列)
4.4 目标检测YOLO-V3算法--损失函数(百度架构师手把手带你零基础实践深度学习原版笔记系列)损失函数上面从概念上将输出特征图上的像素点与预测框关联起来了,那么要对神经网络进行求解,还必须从数学上将网络输出和预测框关联起来,也就是要建立起损失函数跟网络输出之间的关系。下面讨论如何建立起YOLO-V3的损失函数。对于每个预测框,YOLO-V3模型会建立三种类型的损失函数: 表征是否包含目标物体的损失函数,通过pred_objectness和label_objectness计..原创 2020-10-19 21:11:21 · 1979 阅读 · 0 评论 -
4.4 目标检测YOLO-V3算法--主线二:卷积神经网络提取特征(百度架构师手把手带你零基础实践深度学习原版笔记系列)
4.4 目标检测YOLO-V3算法--主线二:卷积神经网络提取特征(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录4.4 目标检测YOLO-V3算法--主线二:卷积神经网络提取特征(百度架构师手把手带你零基础实践深度学习原版笔记系列)卷积神经网络提取特征根据输出特征图计算预测框位置和类别建立输出特征图与预测框之间的关联计算预测框是否包含物体的概率计算预测框位置坐标计算物体属于每个类别概率卷积神经网络提取特征在上一节图像分类的课程中,我们已经学习过..原创 2020-10-19 16:58:49 · 1935 阅读 · 0 评论 -
4.3 目标检测YOLO-V3算法--设计思想&主线一:产生候选区域(百度架构师手把手带你零基础实践深度学习原版笔记系列)
4.3 目标检测YOLO-V3算法--设计思想&主线一:产生候选区域(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录4.3 目标检测YOLO-V3算法--设计思想&主线一:产生候选区域(百度架构师手把手带你零基础实践深度学习原版笔记系列)单阶段目标检测模型YOLO-V3YOLO-V3 模型设计思想产生候选区域生成锚框生成预测框对候选区域进行标注标注锚框的具体程序单阶段目标检测模型YOLO-V3R-CNN系列算法需要先产生候选区域,再.原创 2020-10-19 08:57:35 · 1852 阅读 · 0 评论 -
4.2 目标检测YOLO-V3算法--数据预处理&数据增广(百度架构师手把手带你零基础实践深度学习原版笔记系列)
4.2 目标检测YOLO-V3算法--数据预处理&数据增广(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录4.2 目标检测YOLO-V3算法--数据预处理&数据增广(百度架构师手把手带你零基础实践深度学习原版笔记系列)数据预处理(数据增广目的)随机改变亮暗、对比度和颜色等随机填充随机裁剪随机缩放随机翻转随机打乱真实框排列顺序图像增广方法汇总批量数据读取与加速数据预处理(数据增广目的)在计算机视觉中,通常会对图像做一些随机的变.原创 2020-10-18 16:53:59 · 1654 阅读 · 1 评论 -
4.1 目标检测YOLO-V3算法--实验数据集介绍&数据处理(百度架构师手把手带你零基础实践深度学习原版笔记系列)
4.1 目标检测YOLO-V3算法--实验数据集介绍&数据处理(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录4.1 目标检测YOLO-V3算法--实验数据集介绍&数据处理(百度架构师手把手带你零基础实践深度学习原版笔记系列)读取AI识虫数据集标注信息数据读取数据流动框图在本课程中,将使用百度与林业大学合作开发的林业病虫害防治项目中用到昆虫数据集。(本实验数据平台及数据集均由百度AISTUDIO提供,欢迎各位小伙伴前往体验)读取AI识虫数据集标.原创 2020-10-18 16:28:17 · 945 阅读 · 0 评论 -
3.10 图像分类领域经典模型-GoogLeNet(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.10图像分类领域经典模型-GoogLeNet(百度架构师手把手带你零基础实践深度学习原版笔记系列)GoogLeNetGoogLeNet是2014年ImageNet比赛的冠军,它的主要特点是网络不仅有深度,还在横向上具有“宽度”。由于图像信息在空间尺寸上的巨大差异,如何选择合适的卷积核来提取特征就显得比较困难了。空间分布范围更广的图像信息适合用较大的卷积核来提取其特征;而空间分布范围较小的图像信息则适合用较小的卷积核来提取其特征。为了解决这个问题,GoogLeNet提出了一种被称为Ince..原创 2020-10-14 20:53:33 · 222 阅读 · 0 评论 -
3.9 图像分类领域经典模型-VGG(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.9图像分类领域经典模型-AlexNet(百度架构师手把手带你零基础实践深度学习原版笔记系列)VGGVGG是当前最流行的CNN模型之一,2014年由Simonyan和Zisserman提出,其命名来源于论文作者所在的实验室Visual Geometry Group。AlexNet模型通过构造多层网络,取得了较好的效果,但是并没有给出深度神经网络设计的方向。VGG通过使用一系列大小为3x3的小尺寸卷积核和池化层构造深度卷积神经网络,并取得了较好的效果。VGG模型因为结构简单、应用性极强而广受..原创 2020-10-14 20:16:51 · 333 阅读 · 1 评论 -
3.8 图像分类领域经典模型-AlexNet(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.8图像分类领域经典模型-概述&LeNet(百度架构师手把手带你零基础实践深度学习原版笔记系列)AlexNet通过上面的实际训练可以看到,虽然LeNet在手写数字识别数据集上取得了很好的结果,但在更大的数据集上表现却并不好。自从1998年LeNet问世以来,接下来十几年的时间里,神经网络并没有在计算机视觉领域取得很好的结果,反而一度被其它算法所超越。原因主要有两方面,一是神经网络的计算比较复杂,对当时计算机的算力来说,训练神经网络是件非常耗时的事情;另一方面,当时还没有专门针...原创 2020-10-14 19:45:03 · 485 阅读 · 0 评论 -
3.7 图像分类领域经典模型-概述&LeNet(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.7 图像分类领域经典模型-概述&LeNet(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录3.7 图像分类领域经典模型-概述&LeNet(百度架构师手把手带你零基础实践深度学习原版笔记系列)概述LeNetLeNet在手写数字识别上的应用LeNet在眼疾识别数据集iChallenge-PM上的应用数据集准备查看数据集图片定义数据读取器概述图像分类是根据图像的语义信息对不同类别图像进行区分,是计算机视觉的核心,是物体检测、图像分割、.原创 2020-10-14 18:43:50 · 738 阅读 · 0 评论 -
3.6 CNN卷积神经网络基础知识-丢弃Dropout(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.6CNN卷积神经网络基础知识-丢弃Dropout(百度架构师手把手带你零基础实践深度学习原版笔记系列)丢弃法(Dropout)丢弃法(Dropout)是深度学习中一种常用的抑制过拟合的方法,其做法是在神经网络学习过程中,随机删除一部分神经元。训练时,随机选出一部分神经元,将其输出设置为0,这些神经元将不对外传递信号。图16是Dropout示意图,左边是完整的神经网络,右边是应用了Dropout之后的网络结构。应用Dropout之后,会将标了×的神经元从网络中删除,让它们不向后面的层...原创 2020-10-14 16:18:34 · 1640 阅读 · 0 评论 -
3.5 CNN卷积神经网络基础知识-批归一化Batch Normalization(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.5CNN卷积神经网络基础知识-批归一化Batch Normalization(百度架构师手把手带你零基础实践深度学习原版笔记系列)批归一化(Batch Normalization)批归一化方法方法(Batch Normalization,BatchNorm)是由Ioffe和Szegedy于2015年提出的,已被广泛应用在深度学习中,其目的是对神经网络中间层的输出进行标准化处理,使得中间层的输出更加稳定。通常我们会对神经网络的数据进行标准化处理,处理后的样本数据集满足均值为...原创 2020-10-14 16:10:14 · 1389 阅读 · 0 评论 -
3.4 CNN卷积神经网络基础知识-ReLU激活函数(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.4CNN卷积神经网络基础知识-ReLU激活函数(百度架构师手把手带你零基础实践深度学习原版笔记系列)ReLU激活函数前面介绍的网络结构中,普遍使用Sigmoid函数做激活函数。在神经网络发展的早期,Sigmoid函数用的比较多,而目前用的较多的激活函数是ReLU。这是因为Sigmoid函数在反向传播过程中,容易造成梯度的衰减。让我们仔细观察Sigmoid函数的形式,就能发现这一问题。Sigmoid激活函数定义如下:ReLU激活函数的定义如下:下面的程序画出了Sigmo..原创 2020-10-14 15:37:34 · 1304 阅读 · 0 评论 -
3.3 CNN卷积神经网络基础知识-Pooling池化(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.3CNN卷积神经网络基础知识-Pooling池化(百度架构师手把手带你零基础实践深度学习原版笔记系列)池化(Pooling)池化是使用某一位置的相邻输出的总体统计特征代替网络在该位置的输出,其好处是当输入数据做出少量平移时,经过池化函数后的大多数输出还能保持不变。比如:当识别一张图像是否是人脸时,我们需要知道人脸左边有一只眼睛,右边也有一只眼睛,而不需要知道眼睛的精确位置,这时候通过池化某一片区域的像素点来得到总体统计特征会显得很有用。由于池化之后特征图会变得更小,如果后面连接的是全连接..原创 2020-10-14 15:28:46 · 505 阅读 · 0 评论 -
3.2 CNN卷积神经网络基础知识-卷积操作(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.2卷积神经网络基础知识(百度架构师手把手带你零基础实践深度学习原版笔记系列)这一小节将为读者介绍卷积算法的原理和实现方案,并通过具体的案例展示如何使用卷积对图片进行操作,主要涵盖如下内容:目录3.2卷积神经网络基础知识(百度架构师手把手带你零基础实践深度学习原版笔记系列)卷积计算填充(padding)步幅(stride)感受野(Receptive Field)多输入通道、多输出通道和批量操作卷积计算卷积是数学分析中的一种积分变换的方法,在图像处理中...原创 2020-10-14 15:20:08 · 918 阅读 · 0 评论 -
3.1 计算机视觉的发展和卷积神经网络概要(百度架构师手把手带你零基础实践深度学习原版笔记系列)
3.1 计算机视觉的发展和卷积神经网络(百度架构师手把手带你零基础实践深度学习原版笔记系列)概要计算机视觉作为一门让机器学会如何去“看”的科学学科,具体的说,就是让机器去识别摄像机拍摄的图片或视频中的物体,检测出物体所在的位置,并对目标物体进行跟踪,从而理解并描述出图片或视频里的场景和故事,以此来模拟人脑视觉系统。因此,计算机视觉也通常被叫做机器视觉,其目的是建立能够从图像或者视频中“感知”信息的人工系统。计算机视觉技术经过几十年的发展,已经在交通(车牌识别、道路违章抓拍)、安防(人脸闸机.原创 2020-10-14 14:53:36 · 452 阅读 · 0 评论 -
2.8mnist手写数字识别之模型保存与恢复精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)
2.8mnist手写数字识别之模型保存与恢复精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录2.8mnist手写数字识别之模型保存与恢复精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)模型加载及恢复训练恢复训练模型加载及恢复训练在之前的章节已经向读者介绍了将训练好的模型保存到磁盘文件的方法。应用程序可以随时加载模型,完成预测任务。但是在日常训练工作中,我们会遇到一些突发情况,导致训练过程主动或被动的中断。如果训练一个模型需要花费几天的时间,中断后从..原创 2020-10-12 11:15:33 · 330 阅读 · 1 评论 -
2.7mnist手写数字识别之训练调试与优化精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)
2.7mnist手写数字识别之训练调试与优化精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录2.7mnist手写数字识别之训练调试与优化精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)概述计算模型的分类准确率检查模型训练过程,识别潜在训练问题加入校验或测试,更好评价模型效果加入正则化项,避免模型过拟合过拟合现象导致过拟合原因过拟合的成因与防控正则化项可视化分析使用Matplotlib库绘制损失随训练下降的曲线图使用Visu.原创 2020-10-12 11:05:15 · 1647 阅读 · 0 评论 -
2.6mnist手写数字识别之资源配置(含分布式)精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)
2.6mnist手写数字识别之资源配置(含分布式)精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录2.6mnist手写数字识别之资源配置精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)概述单GPU训练分布式训练模型并行数据并行PRC通信方式NCCL2通信方式(Collective)概述从前几节的训练看,无论是房价预测任务还是MNIST手写字数字识别任务,训练好一个模型不会超过十分钟,主要原因是我们所使用的神经网络比较简单。但实际..原创 2020-10-11 20:11:35 · 565 阅读 · 0 评论 -
2.5mnist手写数字识别之优化算法精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)
2.5mnist手写数字识别之优化算法精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录2.5mnist手写数字识别之优化算法精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)设置学习率学习率的主流优化算法设置学习率(学习率大小的选择严重影响着模型的效果,人为选择困难很大,目前已经有很好的优化学习率算法可以拿来直接用)在深度学习神经网络模型中,通常使用标准的随机梯度下降算法更新参数,学习率代表参数更新幅度的大小,即步长。当学习率最优时,模型的...原创 2020-10-11 19:55:07 · 622 阅读 · 1 评论 -
2.4mnist手写数字识别之损失函数精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)
2.4mnist手写数字识别之损失函数精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录2.4mnist手写数字识别之损失函数精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)概述分类任务的损失函数Softmax函数交叉熵交叉熵的代码实现概述损失函数是模型优化的目标,用于在众多的参数取值中,识别最理想的取值。损失函数的计算在训练过程的代码中,每一轮模型训练的过程都相同,分如下三步:先根据输入数据正向计算预测输出。 再根据预测值和真实值计算.原创 2020-10-11 19:25:06 · 2228 阅读 · 0 评论 -
2.3mnist手写数字识别之网络结构精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)
2.3mnist手写数字识别之网络结构精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录2.3mnist手写数字识别之网络结构精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)概述经典的全连接神经网络卷积神经网络概述前几节我们尝试使用与房价预测相同的简单神经网络解决手写数字识别问题,但是效果并不理想。原因是手写数字识别的输入是28 × 28的像素值,输出是0-9的数字标签。而线性回归模型无法捕捉二维图像数据中蕴含的复杂信息,如图1所示。无论是牛顿第二...原创 2020-10-11 19:05:28 · 830 阅读 · 1 评论 -
2.2mnist手写数字识别之数据处理精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)
2.2mnist手写数字识别之数据处理精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)目录2.2mnist手写数字识别之数据处理精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)概述读入数据并划分数据集扩展阅读:为什么学术界的模型总在不断精进呢?训练样本乱序、生成批次数据校验数据有效性机器校验人工校验封装数据读取与处理函数异步数据读取概述上一节,我们通过调用飞桨提供的API(paddle.dataset.mnist)加载MNIST数.原创 2020-10-11 17:24:11 · 220 阅读 · 0 评论 -
2.1通过极简方案构建mnist手写数字识别模型(百度架构师手把手带你零基础实践深度学习原版笔记系列)
通过极简方案构建mnist手写数字识别模型0前提条件在数据处理前,首先要加载飞桨与手写数字识别模型相关的类库,实现方法如下。#加载飞桨和相关类库import paddleimport paddle.fluid as fluidfrom paddle.fluid.dygraph.nn import Linearimport numpy as npimport osfrom PIL import Image1数据处理飞桨提供了多个封装好的数据集API,涵盖计算机视觉、自.原创 2020-10-10 18:59:31 · 642 阅读 · 0 评论 -
链式求导法则-微积分高数解答版
链式求导法则-微积分高数解答版看了深度学习的反向计算的链式法则是不是一脸懵,不怕,本文从大学老师的讲解方法让你从根本上理解链式法则注:本文适合学过高数,但又把知识还给老师的小伙伴。能让你立马回忆起链式法则精髓!关键就是画复合函数关系链接图,口诀就是分叉处为偏导,直连处为全导。根据连接图写出公式,再分别计算即可再来个更复杂的例子回味一下,这个在当时大学课本可是基础链接图形式哦更复杂,本质还是那样最后来道题爽一下,能完整写出结果说明你又重...原创 2020-08-13 17:06:30 · 13776 阅读 · 1 评论 -
1.2使用Python语言和Numpy库来构建神经网络模型-波士顿房价预测任务实战案例(百度架构师手把手带你零基础实践深度学习原版笔记系列)
波士顿房价预测任务-手把手新手实战友情提示:读完本篇需要大量时间耐心琢磨,新手推荐直接传送到文章结尾处,前往推荐课程观看配套视频,体验更佳。有一定PYTHON基础和机器学习梯度下降基础常识的小伙伴可以仔细食用,味道鲜美!目录波士顿房价预测任务-手把手新手实战线性回归模型线性回归模型的神经网络结构构建波士顿房价预测任务的神经网络模型数据处理读入数据数据形状变换数据集划分数据归一化处理封装成load data函数模型设计训练配置训练过程..原创 2020-08-12 17:23:54 · 2141 阅读 · 1 评论 -
1.1机器学习和深度学习综述(百度架构师手把手带你零基础实践深度学习原版笔记系列)
人工智能、机器学习、深度学习的关系近些年人工智能、机器学习和深度学习的概念十分火热,但很多从业者却很难说清它们之间的关系,外行人更是雾里看花。在研究深度学习之前,我们先从三个概念的正本清源开始。概括来说,人工智能、机器学习和深度学习覆盖的技术范畴是逐层递减的。人工智能是最宽泛的概念。机器学习是当前比较有效的一种实现人工智能的方式。深度学习是机器学习算法中最热门的一个分支,近些年取得了显著的进展,并替代了大多数传统机器学习算法。三者的关系如图1所示,即:人工智能 > 机器学习 >...原创 2020-08-11 15:30:09 · 496 阅读 · 0 评论 -
就是GAN-萌新使用PaddlePaddle论文复现初探索之First-Order
先来科普一下 萌新自然就是我啦-只看过机器学习入门课程的菜鸟。如果你也是这样,那就可以放心的向下看了欢迎大家一起交流~~~ PaddlePaddle国货之光–类似Tensorflow,pytorch的机器学习框架。没听过?不要疑惑,这里有免费Tesla V100显卡可以撸,对于没算力的小白真的香,大可一试,框架一通百通,提升实战能力!!!传送门>>撸算力请入 “GAN”人工智能领域内,当下机原创 2020-08-06 19:57:57 · 3203 阅读 · 4 评论