深度学习(基础进阶应用实战合集)
文章平均质量分 94
讲解深度学习入门到进阶知识原理以及项目实战,讲解深度学习应用实战篇(含原理+程序码源),涉及计算机视觉、自然语言处理、推荐系统、元学习、模型压缩技术等。让大家在项目实操的同时也能知识储备,知其然、知其所以然、知何由以知其所以然。
汀、人工智能
本博客将不定期更新关于机器学习、强化学习、数据挖掘以及NLP等领域相关知识,以及分享自己学习到的知识技能,感谢大家关注!
展开
-
人工智能:基于PaddleOCR的多视角集装箱箱号检测识别
本教程所使用的集装箱箱号数据集,该数据包含3003张分辨率为1920×1080的集装箱图像" 图像文件名 json.dumps编码的图像标注信息"其中json.dumps编码前的图像标注信息是包含多个字典的list,字典中的 points 表示文本框的四个点的坐标(x, y),从左上角的点开始顺时针排列。transcription 表示当前文本框的文字,当其内容为“###”时,表示该文本框无效,在训练时会跳过。" 图像文件名 图像标注信息 "原创 2023-04-04 16:32:00 · 1365 阅读 · 2 评论 -
深度学习应用篇-自然语言处理[10]:N-Gram、SimCSE介绍,更多技术:数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等
N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作,形成了长度是N的字节片段序列。每一个字节片段称为gram,对所有gram的出现频度进行统计,并且按照事先设定好的阈值进行过滤,形成关键gram列表,也就是这个文本的向量特征空间,列表中的每一种gram就是一个特征向量维度。该模型基于这样一种假设,第N个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。原创 2023-06-12 10:41:47 · 1558 阅读 · 0 评论 -
深度学习应用篇-自然语言处理-命名实体识别[9]:BiLSTM+CRF实现命名实体识别、实体、关系、属性抽取实战项目合集(含智能标注)【上篇】
【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍:【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家,让大家在项目实操的同时也能知识储备,知其然、知其所以然、知何由以知其所以然。声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比原创 2023-06-12 11:46:17 · 1536 阅读 · 0 评论 -
深度学习应用篇-自然语言处理-命名实体识别[9]:BiLSTM+CRF实现命名实体识别、实体、关系、属性抽取实战项目合集(含智能标注)【下篇】
【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍:【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家,让大家在项目实操的同时也能知识储备,知其然、知其所以然、知何由以知其所以然。声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比原创 2023-06-12 11:50:46 · 1306 阅读 · 0 评论 -
深度学习应用篇-计算机视觉-OCR光学字符识别[7]:OCR综述、常用CRNN识别方法、DBNet、CTPN检测方法等、评估指标、应用场景
声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)原创 2023-06-11 21:04:32 · 3114 阅读 · 0 评论 -
深度学习应用篇-计算机视觉-语义分割综述[6]:DeepLab系列简介、DeepLabV3深入解读创新点、训练策略、主要贡献
作者发现Deep Convolutional Neural Networks (DCNNs) 能够很好的处理的图像级别的分类问题,因为它具有很好的平移不变性(空间细节信息已高度抽象),但是DCNNs很难处理像素级别的分类问题,例如姿态估计和语义分割,它们需要准确的位置信息。将深度神经网络DCNN与全连接CRF结合起来,提高图像分割的分割精度。提出空洞卷积的思想。应用尝试了多尺度、多层次的信息融合。重复堆叠的池化和下采样操作导致分辨率大幅下降,位置信息丢失难以恢复。原创 2023-06-09 09:20:09 · 2149 阅读 · 0 评论 -
深度学习应用篇-计算机视觉-语义分割综述[5]:FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等
深度学习应用篇-计算机视觉-语义分割综述[5]:FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等原创 2023-06-09 09:16:54 · 5255 阅读 · 0 评论 -
深度学习应用篇-计算机视觉-目标检测[4]:综述、边界框bounding box、锚框(Anchor box)、交并比、非极大值抑制NMS、SoftNMS
声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)原创 2023-06-08 10:01:23 · 2065 阅读 · 0 评论 -
深度学习应用篇-计算机视觉-图像分类[3]:ResNeXt、Res2Net、Swin Transformer、Vision Transformer等模型结构、实现、模型特点详细介绍
相较于VGG的19层和GoogLeNet的22层,ResNet可以提供18、34、50、101、152甚至更多层的网络,同时获得更好的精度。但是为什么要使用更深层次的网络呢?同时,如果只是网络层数的堆叠,那么为什么前人没有获得ResNet一样的成功呢?基础模块构建好后,就可以构建完整的ViT网络了。假设我们将原始图像切分成3×33 \times 33×3。原创 2023-06-08 09:59:24 · 2662 阅读 · 6 评论 -
深度学习应用篇-计算机视觉-图像分类[2]:LeNet、AlexNet、VGG、GoogleNet、DarkNet模型结构、实现、模型特点详细介绍
LeNet是最早的卷积神经网络之一[1],其被提出用于识别手写数字和机器印刷字符。1998年,Yann LeCun第一次将LeNet卷积神经网络应用到图像分类上,在手写数字识别任务中取得了巨大成功。算法中阐述了图像中像素特征之间的相关性能够由参数共享的卷积操作所提取,同时使用卷积、下采样(池化)和非线性映射这样的组合结构,是当前流行的大多数深度图像识别网络的基础。原创 2023-06-07 11:08:49 · 2615 阅读 · 0 评论 -
深度学习应用篇-计算机视觉-图像增广[1]:数据增广、图像混叠、图像剪裁类变化类等详解
声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)原创 2023-06-03 20:55:30 · 2856 阅读 · 1 评论 -
深度学习应用篇-计算机视觉-视频分类[8]:时间偏移模块(TSM)、TimeSformer无卷积视频分类方法、注意力机制
首先考虑一个正常的卷积操作,以核大小为3的一维卷积为例。假设卷积的权重为Ww1w2w3Ww1w2w3,输入XXX是一个1D无限长的向量,则卷积操作YConvWXYConvWXYiw1Xi−1w2Xiw3Xi1Yiw1Xi−1w2Xiw3Xi1将卷积操作解耦为两步,位移和乘法累加。对输入XXX进行−101-1, 0, +1−。原创 2023-06-11 21:16:05 · 3489 阅读 · 1 评论 -
深度学习进阶篇[9]:对抗生成网络GANs综述、代表变体模型、训练策略、GAN在计算机视觉应用和常见数据集介绍,以及前沿问题解决
GAN的主要思想是对抗思想:对抗思想已经成功地应用于许多领域,如机器学习、人工智能、计算机视觉和自然语言处理。最近AlphaGo击败世界顶尖人类玩家的事件引起了公众对人工智能的兴趣。AlphaGo的中间版本使用两个相互竞争的网络。对抗性示例是指与真实示例非常不同,但被非常自信地归入真实类别的示例,或与真实示例略有不同,但被归入错误类别的示例。这是最近一个非常热门的研究课题。 对抗式机器学习是一个极大极小问题。原创 2023-06-01 10:20:20 · 7054 阅读 · 0 评论 -
深度学习进阶篇[8]:对抗神经网络GAN基本概念简介、纳什均衡、生成器判别器、解码编码器详解以及GAN应用场景
博弈论可以被认为是两个或多个理性的代理人或玩家之间相互作用的模型。理性这个关键字,因为它是博弈论的基础。我们可以简单地把理性称为一种理解,即每个行为人都知道所有其他行为人都和他/她一样理性,拥有相同的理解和知识水平。同时,理性指的是,考虑到其他行为人的行为,行为人总是倾向于更高的报酬/回报。游戏:一般来说,游戏是由一组玩家,行动/策略和最终收益组成。例如:拍卖、象棋、政治等。玩家:玩家是参与任何游戏的理性实体。例如:在拍卖会的投标人、石头剪刀布的玩家、参加选举的政治家等。收益。原创 2023-06-01 10:17:17 · 3922 阅读 · 0 评论 -
深度学习进阶篇[7]:Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。
Google AI的这项工作有助于改进基于非稀疏的方法和基于Kernel的Transformer,这种方法也可以与其他技术互操作,研究人员甚至还将 FAVOR 与Reformer的代码集成在一起。同时研究人员还提供了论文、 Performer的代码和蛋白质语言模型的代码链接。该研究首次证明了,任意注意力矩阵都可以通过随机特征在下游 Transformer 应用中实现有效地近似。原创 2023-05-31 19:22:21 · 1701 阅读 · 0 评论 -
深度学习进阶篇-国内预训练模型[6]:ERNIE-Doc、THU-ERNIE、K-Encoder融合文本信息和KG知识;原理和模型结构详解。
经典的Transformer在处理数据时,会将文本数据按照固定长度进行截断,这个看起来比较”武断”的操作会造成上下文碎片化以及无法建模更长的序列依赖关系。基于此项考虑,ERNIE-Doc提出了一种文档层级的预训练语言模型方法:ERNIE-Doc在训练某一个Segment时,允许该segment能够获得整个Doc的信息。S1S2S3S1S2S3,在编码segmentS2S_2S2时,经典的Transformer依赖的只是S2S_2S2Py∣。原创 2023-05-29 12:49:23 · 368 阅读 · 0 评论 -
深度学习进阶篇-国内预训练模型[5]:ERINE、ERNIE 3.0、ERNIE-的设计思路、模型结构、应用场景等详解
ERINE是百度发布一个预训练模型,它通过引入三种级别的Knowledge Masking帮助模型学习语言知识,在多项任务上超越了BERT。在模型结构方面,它采用了Transformer的Encoder部分作为模型主干进行训练,如图1(图片来自网络)所示。图1 Transformer的Encoder部分关于ERNIE网络结构(Transformer Encoder)的工作原理,这里不再展开讨论。接下来,我们将聚焦在ERNIE本身的主要改进点进行讨论,即三个层级的Knowledge Masking 策略。原创 2023-05-28 22:56:23 · 3544 阅读 · 0 评论 -
深度学习进阶篇-预训练模型[4]:RoBERTa、SpanBERT、KBERT、ALBERT、ELECTRA算法原理模型结构应用场景区别等详解
当前的预训练模型(比如 BERT、GPT 等)往往在大规模的语料上进行预训练,学习丰富的语言知识,然后在下游的特定任务上进行微调。但这些模型基本都没有使用 ** 知识图谱(KG)** 这种结构化的知识,而 KG 本身能提供大量准确的知识信息,通过向预训练语言模型中引入这些外部知识可以帮助模型理解语言知识。基于这样的考虑,作者提出了一种向预训练模型中引入知识的方式,即 KBERT,其引入知识的时机是在 fine tune 阶段。原创 2023-05-27 21:21:30 · 1240 阅读 · 0 评论 -
深度学习进阶篇-预训练模型[3]:XLNet、BERT、GPT,ELMO的区别优缺点,模型框架、一些Trick、Transformer Encoder等原理详细讲解
BERT(Bidirectional Encoder Representation from Transformers)是2018年10月由Google AI研究院提出的一种预训练模型,该模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类,并且在11种不同NLP测试中创出SOTA表现,包括将GLUE基准推高至80.4% (绝对改进7.6%),MultiNLI准确度达到86.7% (绝对改进5.6%),成为NLP发展史上的里程碑式的模型成就。原创 2023-05-26 09:59:40 · 1719 阅读 · 0 评论 -
深度学习进阶篇-预训练模型[2]:Transformer-XL、Longformer、GPT原理、模型结构、应用场景、改进技巧等详细讲解
在正式讨论 Transformer-XL 之前,我们先来看看经典的 Transformer(后文称)是如何处理数据和训练评估模型的,如图 1所示。图 1 Vanilla Transformer 训练和评估阶段在数据处理方面,给定一串较长的文本串,会按照固定的长度(比如 512),直接将该文本串进行划分成若干 Segment。这个处理方式不会关注文本串中语句本身的边界(比如标点或段落),这样” 粗暴” 的划分通常会将一句完整的话切分到两个 Segment 里面,导致上下文碎片化(原创 2023-05-25 13:05:59 · 709 阅读 · 0 评论 -
深度学习进阶篇-预训练模型[1]:预训练分词Subword、ELMo、Transformer模型原理;结构;技巧以及应用详解
机器无法理解文本。当我们将句子序列送入模型时,模型仅仅能看到一串字节,它无法知道一个词从哪里开始,到哪里结束,所以也不知道一个词是怎么组成的。所以,为了帮助机器理解文本,我们需要将文本分成一个个小片段然后将这些片段表示为一个向量作为模型的输入同时,我们需要将一个个小片段(token) 表示为向量,作为词嵌入矩阵, 通过在语料库上训练来优化token的表示,使其蕴含更多有用的信息,用于之后的任务。原创 2023-05-24 10:23:32 · 3678 阅读 · 1 评论 -
深度学习基础入门篇-序列模型[11]:循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解
RNN会从左到右逐词阅读这个句子,并不断调用一个相同的RNN Cell来处理时序信息,每阅读一个单词,RNN首先将本时刻。原创 2023-05-24 10:18:16 · 3953 阅读 · 2 评论 -
深度学习基础入门篇[10]:序列模型-词表示{One-Hot编码、Word Embedding、Word2Vec、词向量的一些有趣应用}
¶在正式介绍之前,我们先来科普一下Word2Vec,Word2vec是2013年被Mikolov提出来的词向量训练算法,在论文连续词袋模型CBOW和Skip-gram,如图4所示。图4 CBOW和Skip-gram的对比图4中使用了这句话作为例子:Pineapples are spiked and yellow,在这句话中假设中心词是spiked,这个单词的上下文是其他单词:Pineapples are and yellow。连续词袋模型CBOW。原创 2023-05-23 10:32:15 · 1266 阅读 · 0 评论 -
深度学习基础入门篇[9.3]:卷积算子:空洞卷积、分组卷积、可分离卷积、可变性卷积等详细讲解以及应用场景和应用实例剖析
而且,对于具有精细定位的视觉识别(例如,使用完全卷积网络的语义分割)的实际问题,由于不同的位置可能对应于具有不同尺度或变形的对象,因此,尺度或感受野大小的自适应确定是可取的。这样,我们将原始的卷积进行拆分,本来需要 9 次乘法操作的一个卷积运算,就变为了两个需要 3 次乘法操作的卷积运算,并且最终效果是不变的。可以从上图4看到,可以看到当绿色点在目标上时,红色点所在区域也集中在目标位置,并且基本能够覆盖不同尺寸的目标,因此经过可变形卷积,我们可以更好地提取出感兴趣物体的完整特征,效果是非常不错的。原创 2023-05-23 10:28:44 · 1573 阅读 · 0 评论 -
深度学习基础入门篇[9.1]:卷积之标准卷积:卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解
只有当卷积核覆盖的像素点有的处于光亮区域,有的处在黑暗区域时,左右间隔为1的两个点像素值的差才不为0。深层卷积提取的则是图像中的全局信息。因此,对于同一个卷积核的计算过程而言,在与图像计算的过程中,它的权重是共享的。(3 x 3卷积核的中间值是8,周围一圈的值是8个-1)对其进行操作,用来检测物体的外形轮廓,观察输出特征图跟原图之间的对应关系,如下代码所示,输出图像如。上面的例子中,卷积层的数据是一个2维数组,但实际上一张图片往往含有RGB三个通道,要计算卷积的输出结果,卷积核的形式也会发生变化。原创 2023-05-22 10:25:25 · 5867 阅读 · 0 评论 -
深度学习基础入门篇[9.2]:卷积之1*1 卷积(残差网络)、2D/3D卷积、转置卷积数学推导、应用实例
【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍:【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)专栏订阅:深度学习入门到进阶专栏1×11\times{1}1×1 卷积,与标准卷积完全一样,唯一的原创 2023-05-22 10:31:09 · 1051 阅读 · 0 评论 -
深度学习基础入门篇[8]::计算机视觉与卷积神经网络、卷积模型CNN综述、池化讲解、CNN参数计算
【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍:【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)专栏订阅:深度学习入门到进阶专栏计算机视觉作为一门让机器学会如何去“看”的学科,具体的说,就是让机原创 2023-05-21 21:28:07 · 1789 阅读 · 1 评论 -
深度学习基础入门篇[七]:常用归一化算法、层次归一化算法、归一化和标准化区别于联系、应用案例场景分析。
当我们在做对房价的预测时,收集到的数据中,如房屋的面积、房间的数量、到地铁站的距离、住宅附近的空气质量等,都是量纲,而他们对应的量纲单位分别为平方米、个数、米、AQI等。同时,对于不同的量纲,数据的数量级大小也是不同的,比如房屋到地铁站的距离可以是上千米,而房屋的房间数量一般只有几个。但是,研究表明,由于在卷积神经网络中,LN会破坏卷积所学习到的特征,致使模型无法收敛,而对于BN算法,基于不同数据的情况,同一特征归一化得到的数据更不容易损失信息,所以在LN和BN都可以应用的场景,BN的表现通常要更好。原创 2023-04-21 10:12:53 · 2434 阅读 · 3 评论 -
深度学习基础入门篇[六(1)]:模型调优:注意力机制[多头注意力、自注意力],正则化【L1、L2,Dropout,Drop Connect】等
【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍:【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)专栏订阅:深度学习入门到进阶专栏在深度学习领域,模型往往需要接收和处理大量的数据,然而在特定的某个原创 2023-04-20 15:12:14 · 1310 阅读 · 0 评论 -
深度学习基础入门篇[六]:模型调优,学习率设置(Warm Up、loss自适应衰减等),batch size调优技巧,基于方差放缩初始化方法。
Batch一般被翻译为批量,设置batch_size的目的让模型在训练过程中每次选择批量的数据来进行处理。Batch Size的直观理解就是一次训练所选取的样本数。Batch Size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况,假如你GPU内存不大,该数值最好设置小一点。在神经网络的训练过程中,一个非常直观的需要调整的超参数就是batch size。我们需要决定在一次训练中,要选取多少样本喂给神经网络,这个要选择的样本个数,就是batch size。原创 2023-04-19 09:52:23 · 3391 阅读 · 0 评论 -
深度学习基础入门篇[五]:交叉熵损失函数、MSE、CTC损失适用于字识别语音等序列问题、Balanced L1 Loss适用于目标检测
引入CTC主要就是要解决上述问题。这里以文本识别算法CRNN为例,分析CTC的计算方式及作用。CRNN中,整体流程如 图3 所示。图3 CRNN整体流程CRNN中,首先使用CNN提取图片特征,特征图的维度为m×Tm×Tm×Txx1x2xTxx1x2...xT然后,将特征图的每一列作为一个时间片送入LSTM中。令 t为代表时间维度的值,且满足1tT1原创 2023-04-18 09:46:38 · 1378 阅读 · 0 评论 -
A.深度学习基础入门篇[四]:激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
sigmoid函数的输出映射在 (0,1)之间,单调连续,输出范围有限,优化稳定,可以用作输出层;求导容易;缺点:由于其软饱和性,一旦落入饱和区梯度就会接近于0,根据反向传播的链式法则,容易产生梯度消失,导致训练出现问题;Sigmoid函数的输出恒大于0。原创 2023-04-11 15:34:10 · 1686 阅读 · 0 评论 -
A.深度学习基础入门篇[三]:优化策略梯度下降算法:SGD、MBGD、Momentum、Adam、AdamW
如果我们定义了一个机器学习模型,比如一个三层的神经网络,那么就需要使得这个模型能够尽可能拟合所提供的训练数据。但是我们如何评价模型对于数据的拟合是否足够呢?,当损失函数值下降,我们就认为模型在拟合的路上又前进了一步。最终模型对训练数据集拟合的最好的情况是在损失函数值最小的时候,在指定数据集上时,为损失函数的平均值最小的时候。原创 2023-04-05 20:23:44 · 3026 阅读 · 1 评论 -
A.深度学习基础入门篇[二]:机器学习常用评估指标:AUC、mAP、IS、FID、Perplexity、BLEU、ROUGE等详解
机器学习的评价指标有精度、精确率、召回率、P-R曲线、F1 值、TPR、FPR、ROC、AUC等指标,还有在生物领域常用的敏感性、特异性等指标。准确率AccuracyTPTNTPFNFPTNAccuracyTPFNFPTNTPTN即所有分类正确的样本占全部样本的比例。精确率精准率又叫做:Precision、查准率召回率召回率又叫:Recall、查全率RecallTPTPFNRecallTPFN。原创 2023-04-04 15:13:03 · 2017 阅读 · 3 评论 -
A.深度学习基础入门篇[一]:神经元简介、单层多层感知机、距离计算方法式、相似度函数
在生物学中,神经元细胞有兴奋与抑制两种状态。大多数神经元细胞在正常情况下处于抑制状态,一旦某个神经元受到刺激并且电位超过一定的阈值后,这个神经元细胞就被激活,处于兴奋状态,并向其他神经元传递信息。基于神经元细胞的结构特性与传递信息方式,神经科学家 Warren McCulloch 和逻辑学家 Walter Pitts 合作提出了“McCulloch–Pitts (MCP) neuron”模型。在人工神经网络中,MCP模型成为人工神经网络中的最基本结构。MCP模型结构如 图1 所示。图1 MCP 模型结构。原创 2023-04-03 18:11:15 · 1169 阅读 · 1 评论 -
【深度学习项目二】卷积神经网络LeNet实现minst数字识别
项目链接:【深度学习项目二】卷积神经网络LeNet实现minst数字识别1.分类任务介绍二分类、多分类、多标签2.图像分类目标和原理特征会遇到一些干扰:视角变化、形变、遮挡、背景干扰等神经网络发展过程:import paddleimport numpy as npimport matplotlib.pyplot as plt3. 数据准备继续应用框架中封装好的手写数字识别数据集。3.1 数据集加载和预处理# 数据预处理import paddle.vision.trans原创 2021-05-13 14:58:50 · 905 阅读 · 3 评论 -
【深度学习入门到进阶项目实战专栏简介】含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等以及深度学习如何应用
【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识,后续会不断增添实战环节(比赛、论文、现实应用等)专栏订阅:深度学习入门到进阶专栏A.深度学习基础入门篇[一]:神经元简介、单层多层感知机、距离计算方法式、相似度函数A.深度学习基础入门篇[二]:机器学习常用评估指标:AUC、mAP、IS、FID、Perplexity、BLEU、ROUGE等详解A.深度学习基础入门篇[三]:优化策略梯度原创 2023-04-18 21:34:46 · 2411 阅读 · 1 评论 -
【深度学习项目五】:利用LSTM网络进行情感分析(NLP)
1. NLP知识简介情感分析,是文本分类任务的经典场景:**输入:**一个自然语言句子。**输出:**输出这个句子的情感分类,如高兴、伤心通常看作一个三分类问题:-正向:表示正面积极的情感,如高兴、喜欢。-负向:表示负面消极的情感,如难过、讨厌。-中性:其他类型的情感。2. NLP原理介绍数据处理通用流程 以句子分类为例词汇表长度5w词向量纬度: 500批处理句子数Batch_ size : 128,统-句子长度num. token: 3词向量纬度Emb原创 2021-05-25 19:32:01 · 10327 阅读 · 29 评论 -
【深度学习项目三】ResNet50多分类任务【十二生肖分类】
项目链接:https://aistudio.baidu.com/aistudio/projectdetail/19308771. 卷积神经网络简介1.1 AlexNet贡献:引入ReLU作为激活函数Dropout层Max PoolingGPU加速数据增强(截取、水平翻转)1.2 VGG1.3 GoogleNet全连接层对输入输出大小有限制,用池化层代替没有约束。1.4 ResNet残差结构解决梯度消失问题,多个路径前向传播。层数改变如图左下角,主要是为了减少计算开销原创 2021-05-13 15:11:23 · 12579 阅读 · 27 评论 -
【深度学习项目一】全连接神经网络实现mnist数字识别
深度学习开发的万能公式模式流程:import paddleimport numpy as npimport matplotlib.pyplot as plt2 数据准备2.1 数据加载和预处理import paddle.vision.transforms as T# 数据的加载和预处理transform = T.Normalize(mean=[127.5], std=[127.5]) #里面数值是根据数据集进行设置的#像素值分布0-255组成图片,差值比较大会影响loss,影原创 2021-05-13 14:40:01 · 1662 阅读 · 2 评论