深度学习与NLP
文章平均质量分 96
从pytorch使用出发,介绍文本的预处理,RNN及其变体莎士比亚文本生成任务,再到Transformer及案例fasttext及迁移学习。【注】本文仅为作者个人学习笔记,如有冒犯,请联系作者删除。
Lingxw_w
目前CS研究生在读,研究方向网络科学。个人主页:https://lingxianwen.github.io
展开
-
【深度学习与NLP】——最全环境配置总指南
指令集类型判断,一般直接购买的 Windows 电脑和在原本为 Windows 的电脑上安装的 Linux 系统为。如果你的版本高于(包括)版本 2004,适用于『指令自动安装』一节,低于版本 2004 适用于『手动安装一节』后并执行,等待安装完毕后重启计算机即可,这个指令会帮助你下载 Unbuntu 发行版和 WSL 2。不符合官网的描述,可以重启计算机并使用 WSL 1 了,这并不会对后续的教程有什么影响。会出现如图所示的内容,其中的内容必须和阿里源中 Anaconda 镜像源的配置一样。原创 2024-08-24 10:54:11 · 1974 阅读 · 0 评论 -
【深度学习与NLP】——词嵌入Embedding技术
词嵌入(Embedding)技术是一种将词汇映射到低维连续向量空间的方法。将离散的单词数据处理成连续且固定长度的向量,使模型可以学习和处理语义信息。原创 2024-09-03 16:34:44 · 1992 阅读 · 0 评论 -
【深度学习与NLP】——深度卷积神经网络AlexNet
AlexNet 的出现极大地推动了深度学习在计算机视觉领域的发展。它证明了深度神经网络在图像识别等任务上的强大能力,为后续的研究提供了重要的参考和启示。此后,各种深度神经网络架构不断涌现,性能也不断提升。总之,AlexNet 是深度学习发展历程中的一个重要里程碑,它的创新之处和优异性能对计算机视觉领域产生了深远的影响。原创 2024-08-27 10:38:36 · 1552 阅读 · 0 评论 -
【深度学习与NLP】——Transformer架构解析
Transformer 是一种基于自注意力机制的深度学习模型,广泛应用于自然语言处理等领域。以下是 Transformer 的总体架构图及介绍:Transformer 主要由编码器(Encoder)和解码器(Decoder)两部分组成。原创 2024-08-20 14:47:01 · 2108 阅读 · 0 评论 -
【深度学习与NLP】——注意力机制
注意力机制是注意力计算规则能够应用的深度学习网络的载体, 同时包括一些必要的全连接层以及相关张量处理, 使其与应用网络融为一体. 使用自注意力计算规则的注意力机制称为自注意力机制.说明: NLP领域中, 当前的注意力机制大多数应用于seq2seq架构, 即编码器和解码器模型.它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时, 称作自注意力计算规则.原创 2024-08-10 17:00:22 · 4821 阅读 · 0 评论 -
【深度学习与NLP】——LSTM模型和GRU模型
LSTM(Long Short-Term Memory)也称长短时记忆结构, 它是传统RNN的变体, 与经典RNN相比能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时LSTM的结构更复杂, 它的核心结构可以分为四个部分去解析:遗忘门输入门输出门细胞状态。原创 2024-08-10 16:48:52 · 4296 阅读 · 0 评论 -
【深度学习与NLP】——RNN架构解析
RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出.一般单层神经网络结构:RNN单层网络结构:以时间步对RNN进行展开后的单层网络结构:RNN的循环机制使模型隐层上一时间步产生的结果, 能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.原创 2024-08-08 15:24:57 · 4775 阅读 · 0 评论 -
【深度学习与NLP】——文本预处理(2)
学习了文本数据分析的作用:文本数据分析能够有效帮助我们理解数据语料, 快速检查出语料可能存在的问题, 并指导之后模型训练过程中一些超参数的选择.学习了常用的几种文本数据分析方法:标签数量分布句子长度分布词频统计与关键词词云学习了基于真实的中文酒店评论语料进行几种文本数据分析方法.获得训练集和验证集的标签数量分布获取训练集和验证集的句子长度分布获取训练集和验证集的正负样本长度散点分布获得训练集与验证集不同词汇总数统计获得训练集上正负的样本的高频形容词词云。原创 2024-08-08 13:16:58 · 4378 阅读 · 0 评论 -
【深度学习与NLP】——文本预处理
文本预处理是将原始文本数据转换为符合模型输入要求的格式的过程。在自然语言处理(NLP)中,文本预处理是一个基本且关键的步骤,因为它直接影响到模型的质量和性能。原创 2024-08-07 14:52:38 · 4137 阅读 · 0 评论 -
【深度学习与NLP】——Pytorch初步应用:基于CIFAR 10构建神经网络和分类器
这段代码使用 PyTorch 框架构建了一个名为Net的卷积神经网络。在网络的初始化部分,定义了两层卷积层和三层全连接层,其中卷积层用于提取输入数据的特征,全连接层用于对提取的特征进行分类或回归等任务。在前向传播过程中,数据依次经过卷积、ReLU 激活函数、最大池化操作,然后将特征展平并通过全连接层处理,最终输出结果。此外,还定义了一个用于计算除批大小外特征数量的辅助方法。最后,创建了该网络的实例并打印其结构。这种网络结构在图像分类等相关任务中应用广泛,通过不断训练和优化,可以提高对数据的处理和预测能力。原创 2024-08-05 23:33:38 · 5064 阅读 · 0 评论 -
【深度学习与NLP】——快速入门Pytorch基本语法
Pytorch是一个基于Numpy的科学计算包, 向它的使用者提供了两大功能.作为Numpy的替代者, 向用户提供使用GPU强大功能的能力.做为一款深度学习的平台, 向用户提供最大的灵活性和速度.原创 2024-08-05 16:42:35 · 4498 阅读 · 0 评论