这个男人是小帅-CSDN博客

原创 Mobile net V系列详解 (2) Mobile net V2论文理论部分详解

在这篇论文中，我们描述了一种新的移动架构，它在多个任务和基准测试中提升了移动模型的最先进性能，同时覆盖了不同模型大小的广泛范围。我们还描述了将这些移动模型高效应用于物体检测的新框架，我们称之为SSDLite。此外，我们展示了如何通过深度学习框架DeepLabv3的简化形式（我们称之为Mobile DeepLabv3）构建移动语义分割模型。MobileNetV2基于一种倒置残差结构，在细小的瓶颈层之间建立了快捷连接。中间扩展层使用轻量级深度卷积来过滤特征，作为非线性的来源。

2024-09-21 19:53:32 1032

原创 Sigmoid引发的梯度消失爆炸及ReLU引起的神经元参数失效问题思考

因此，在包含ReLU激活函数的神经网络中，即使某些权重（如w1w_1w1）和输入的组合（如w1x1w_1x_1w1x1）贡献了负值，但只要整体加权和（zzz）为正，ReLU激活后的神经元就可以对损失函数的梯度做出响应，并且所有相关的权重（w1w_1w1w2w_2w2）在反向传播过程中都有可能被更新。这种机制展示了深度学习模型在训练过程中通过结合多个特征和权重以实现复杂函数近似的强大能力。

2024-09-21 19:51:37 849

原创 Mobile net V系列详解 (3) Mobile net V2论文实战代码详解 pytroch版本

可以看到数据集本身被存放在了三个文件夹下，其主要是花的图片，被分割成了验证集和训练集，模型训练主要就是采用训练集中的数据进行训练，验证集则用来对模型的性能进行测试。为了进一步增强数据集的结构化和规范化，每个图像通常会被放置在代表其类别的文件夹中。这意味着所有同类别的图像会被存放在相同的文件夹里。这样的存放方式不仅使数据集的管理变得简单化，更重要的是，为使用自动化工具提供了便利。例如，图像数据集的这种标准存放形式完美支持了 PyTorch 中的DatasetFolder工具直接进行处理。

2024-09-18 21:46:51 1061

原创 Mobile net V系列详解 (1) Mobile net V1论文理论部分详解

MobileNets，用于移动和嵌入式视觉应用。MobileNets 基于一个精简的架构，该架构使用深度可分离卷积来构建轻量级的深度神经网络。

2024-09-18 21:45:57 856

原创 pytorch项目实战-分类模型李宏毅 21 机器学习第三次作业代码详解 CNN图片分类任务

深度学习领域中，卷积神经网络（CNN）是一个绕不开的重要主题。本章节旨在深入探讨和实践CNN相关的概念和知识点，将依据李宏毅教授在2021年机器学习课程中的第三次作业代码作为例子。通过这一实例，读者将有机会加深对CNN的理解，并提升自己的实践技能。需要指出的是，本章节中展示的代码并未直接采用课程提供的baseline示例。这是因为基础模型的性能有限，而且与传统的深度神经网络（DNN）代码相比，并不提供更多的学习内容。因此，自行选择了一套演示代码，旨在提供更深入的学习和探索机会。

2024-06-01 14:29:46 904

原创自然语言处理基础知识入门(六) GPT模型详解

在之前的章节中，深入探究了预训练ELMo模型的架构与实现原理。通过采用双向LSTM架构在大规模文本数据上进行预训练，ELMo模型成功地为预训练模型时代的开启奠定了基础。继ELMo之后，OpenAI基于transformer架构发布了GPT（Generative Pre-training Transformer）模型，该模型同样采用预训练策略，进一步推动了自然语言处理领域的语言模型发展。在本章节，以GPT模型为起点，初步的学习ChatGPT等基于对话的AI模型背后的原理与技术演化。

2024-06-01 14:27:56 959

原创 GCN 代码解析(一) for pytorch

在前文中，已经对图卷积神经网络（Graph Convolutional Neural Networks, GCN）的理论基础进行了深入探讨。接下来的章节将会进入新的阶段——将借助PyTorch，这一强大的深度学习框架，通过实战讲解来展示如何构建和训练一个图卷积神经网络。这一过程不仅将帮助读者巩固理论知识，更重要的是，它将引导读者迈出理论到实践的关键一步，从而在处理具有图结构数据的问题上实现质的飞跃。

2024-05-31 14:52:45 1369 1

原创 GCN 理论解析(一)

百度百科的定义是这样的人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络（Neural Network，缩写NN），是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络是一种有监督的机器学习算法，广泛地应用于分类预测、图像识别等领域。个人理解简而言之，神经网络是通过可训练的参数来逼近或拟合我们想要的曲线或曲面，从而解决分类或回归问题。

2024-05-31 14:47:19 919

原创自然语言处理基础知识入门(五) ELMo模型详解

https://arxiv.org/pdf/1802.05365v2 原始论文链接在之前的章节中，深入讨论了 Word2vec 模型对自然语言处理领域的深远影响。以及讲解了大名鼎鼎的变形金刚Transformer对多模态技术发展的影响，虽然按照逻辑顺序，接下来的章节应该是学习 Bert 模型，但是为了在学习Bert过程中能够与 ELMo 进行深入对比并且保持学习过程中的连贯性，本章节将先行讲解 ELMo 模型。

2024-05-25 09:37:18 1244

原创 pytorch项目实战-分类模型李宏毅 21 机器学习第二次作业代码详解( 局部最小值 local minima, 鞍点saddle point)

在深度学习中，了解模型在训练过程中参数更新停止时所处的点（即优化停止时的点）是鞍点（saddle point）还是局部最小值（local minimum）是非常重要的。这有助于理解模型的收敛行为以及可能出现的问题。接下来，本文基于Lee老师课程中的21年度机器学习作业2.2中的代码，尝试解释相关概念和知识点。便于读者使用需学习。本章节将会对代码中涉及到代码知识进行延伸尽可能的让本部分的内容看起来直观容易接受。本文作为一个学习实例，旨在作为深度学习入门的参考。

2024-05-25 09:35:45 706

原创 pytorch项目实战-分类模型李宏毅 21 机器学习第二次作业代码详解

本章节主要是对代码架构进行梳理学习，便于读者在深度学习代码部分有一个系统的认识，作为学习笔记供各位入门。具体的代码参考了李宏毅老师机器学习第二次作业的baseline，有微小出入不影响阅读。如有问题欢迎讨论。模型所使用的数据是通过对声音信息进行预处理得到的，这些数据被保存为npy文件格式，因此在加载这些数据时我们主要依赖NumPy包。每一行数据代表一个唯一的音频特征，整个数据集的形状为(1229932, 429)，表示有1229932条数据样本，每个样本都有429个特征。

2024-05-17 11:26:26 820

原创 pytorch项目实战-回归模型李宏毅 21 机器学习第一次作业代码详解

本章节主要是李老师作业中代码架构进行梳理学习，便于读者在深度学习代码部分知识有一个系统的认识，具体的数据集详细代码可点击这里。作为学习笔记供各位入门。有微小出入不影响阅读。如有问题欢迎讨论。本章节阐述了由两个CSV格式文件构成的数据集的处理方法。在这里，使用import csv来加载数据，值得注意的是测试文件中的列数比训练文件少了一列，恰好缺少的是模型所需预测的目标列。考虑到本章节聚焦于回归任务，因此模型仅需要基于输入数据预测一个数值即可。整个模型的训练集和验证集是通过划分。

2024-05-17 11:06:50 1264

原创自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）

在前面的章节中，详细讨论了循环神经网络（RNN）及其衍生模型，经过对RNN的不断改良，它们现在已经具备了长期记忆的能力，这无疑是语言模型领域的一项重大突破。然而，现在的多模态技术以及GPT的出现，绝大多数都选择了基于Transformer的架构，这是为何呢？本章节将围绕这个问题展开，将深入讲解自注意力机制，揭示这个如今在整个自然语言处理领域产生了深远影响的技术的精髓。这将为读者理解后续的BERT模型、GPT技术，以及多模态技术如CLIP等内容奠定坚实的基础。

2024-05-11 15:45:07 903 2

原创自然语言处理基础知识入门(四) Transformer模型的positional encoding位置编码详解

提示：本章节旨在补充和扩展自然语言处理基础知识入门(四)中关于Transformer模型的位置编码（positional encoding）的讨论，提供更深入的解析以助于对该概念的整体理解。参考了这两篇博文Vaswani等人推出了Transformer架构，这是一款创新的、基于纯注意力机制的序列到序列架构。其出色的并行训练能力与性能提升，使其迅速在自然语言处理（NLP）领域以及最新的计算机视觉（CV）研究中获得了广泛的认可和应用。

2024-05-05 16:16:08 1691 4

原创 python学习笔记(1) @property装饰器和@属性名.setter修改器

在学习python的过程中，出现了装饰器和修改器的名词以及封装。十分疑惑，为什么要私有化，就是不希望别人看到呗，那么为什么还要设置装饰器让人家看到呢？？？在学习这部分内容的时候不知所以，故此记录下现阶段的疑问以及自己对当前问题的思考。

2024-04-29 11:15:44 386

原创自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解

在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。

2024-04-14 17:21:48 1507 1

原创自然语言处理基础知识入门(二) Word2vec模型，层次softmax，负采样算法详解

在上一篇博文中，详细探讨了NLP（自然语言处理）领域中两个核心技术：基于统计的N-gram模型与基于深度学习的NNLM（神经网络语言模型）。阐明了N-gram模型在处理单词时倾向于将它们视为孤立的单位(独热编码)，这种方法可能忽略了单词之间在某些层面上的相似性，从而在语义理解方面有所不足。这些模型主要依赖于对统计信息的聚合。为了克服这些局限性并赋予词向量丰富的语义信息，可以利用深度神经网络。通过利用目标词语之前的词向量去预测它本身，这种方法成功地为词向量赋予了包含语义信息的能力。

2024-04-02 18:25:16 1343 1

原创自然语言处理基础知识入门(一) N-gram，NNLM模型讲解

在之前的博客中介绍了图神经网络(Graph Neural Networks, GNNs)的内容，旨在帮助初学者快速掌握这一复杂领域，以便于读者迅速投入到科研工作中去。在浏览这些图神经网络相关的资料时，读者经常会遇到一个关键术语 —— “嵌入表示”（Embedding），该术语用于描述图结构中单个节点的特征信息。尽管许多初学者可能对这个概念感到陌生，但它实际上起源于自然语言处理（NLP）领域。为了深入理解"嵌入表示"这一概念，拥有NLP背景知识显得尤为重要。

2024-03-27 15:59:16 1711

原创空域图卷积神经网络理解 GCN，GAT，GraphSAGE讲解

在这一章中，对两种空域图神经网络模型——GAT（图注意力网络）和GraphSAGE，以及对GCN（图卷积网络）的空域解读进行深入分析。这些讲解旨在帮助读者迅速掌握图神经网络领域的基础知识，使其能够在阅读相关论文时容易理解公式，从而避免对这些理论感到反感。同时，这样的基础知识也让读者将重点放在论文的创新点上，而不必纠结于概念初学的困惑。在后续的文章中，我们还将为其他模型提供详尽讲解。至此，入门篇章就告一段落了。如果这些内容能帮到您，我也会感到十分欣慰。

2024-03-06 17:35:13 1990 1

原创谱域图卷积神经网络知识梳理(二) 谱域GCN变种讲解

对传统谱域图神经网络进行回顾，对后续的衍生模型进行系统化的讲解，梳理时间线以及优缺点必要性分析。

2024-02-27 22:24:14 1204

原创谱域图卷积神经网络知识梳理(一) 谱域GCN公式推导

为了系统化自身的知识体系，并使后续学习谱域图卷积神经网络更为简便、高效，避免不必要的迂回，我撰写了这篇文章。我希望这不仅有助于梳理我个人的思维，也能够为他人提供便利。为了更全面地理解谱域图卷积神经网络，我将文章分为神经网络、卷积神经网络和图卷积神经网络三个主要部分进行引入与讲解。通过对相关知识点的详细解释，希望读者能够建立起对谱域图卷积神经网络的深入理解。百度百科的定义是这样的。

2024-02-05 22:28:32 1242 1

WANGYANG的博客