深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-textcnn

最新推荐文章于 2023-08-18 11:52:39 发布
最新推荐文章于 2023-08-18 11:52:39 发布
阅读量1k 收藏
点赞数 1
分类专栏： 深度学习神经网络-NLP方向 神经网络论文研读 神经网络 文章标签： 自然语言处理 深度学习 人工智能 神经网络 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDNXXCQ/article/details/119653958
版权

本文目录

概念引入

逻辑回归
线性回归
时间序列分析
神经网络
self-attention与softmax的推导
word2evc
glove

摘要大意

  1. 在使用简单的CNN模型在预训练词向量的基础上进行微调就可以在文本分类任务上就能得到很好的结果。
  2. 通过对词向量进行微调而获得的任务指向的词向量就能得到更好的结果。
  3. 同时也提出了一种即使用静态预训练词向量又使用任务指向词向量的文本分类模型。
  4. 最终在7个文本分类任务中的四个上都取得了最好的分类准确率。

TextCNN模型的结构

把每个词都映射成一个词向量，然后做一维卷积
在这里插入图片描述

在这里插入图片描述

正则化手段

Dropout
在神经网络的传播过程中，让某个神经元以一定比例停止工作，在训练另一组数据时又将停止工作的部分启用，按比例选取其他部分停止，从而增加模型的泛化能力。
L2-正则

在这里插入图片描述
在这里插入图片描述

该模型的超参数

  • Embedding方式（静/动态,glove/word2evc）
    在这里插入图片描述
    在这里插入图片描述

  • 卷积核大小

在这里插入图片描述
在这里插入图片描述

  • 卷积核个数

在这里插入图片描述

  • 多种卷积核的混用
    在这里插入图片描述

  • 激活函数 (sigmoid/relu/tanh)
    在这里插入图片描述

  • Dropout

在这里插入图片描述

在这里插入图片描述

  • L2正则化
    在这里插入图片描述

研究成果

在7个文本分类任务中的四个上取得了最好的分类效果。
在这里插入图片描述

• CNN-rand: 使用随机初始化的词向量
• CNN-static: 使用静态预训练的词向量
• CNN-non-static: 使用微调的预训练的词向量
• CNN-multichannel: 同时使用静态预训练的词向量和微调的预训练的词向量

对于预训练词向量的微调能够改变词对之间的相似度关系
在这里插入图片描述

丰。。
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
深度学习-循环神经网络RNN-RNN代码实现-学习RNN的学习笔记
06-14
RNN相关文章分为循环神经网络原理介绍，链接地址：https://blog.csdn.net/Lian_Ge_Blog/article/details/129046842?spm=1001.2014.3001.5502；以及RNN代码实现分析，包含了torch中不同方法实现RNN，以及参数介绍，...
情感分类——TextCNN
qq_40240102的博客
09-26 1179
序 Text-CNN出自《 Convolutional Neural Networks for Sentence Classification》这篇经典论文，由New York University的Yoon Kim大佬发表，作为文本分类的必入坑之一，论文整体简洁明了，本文就来窥视一波，这个经典的网络结构。 本文依据原论文，不加任何多余trick。 整体论文初识 整篇论文做到了什么？ ...
深度学习神经网络学习笔记-自然语言处理方向-论文研读-关系抽取-cnn
CSDNXXCQ的博客
09-02 1728
本文目录概念引入文章背景信息抽取主要包括以下子任务研究成果关系抽取分类关系抽取方法关系抽取的挑战该模型的结构语法特征句法特征结果分析 概念引入 有关中文实体命名识别 逻辑回归 线性回归 时间序列分析 神经网络 self-attention与softmax的推导 word2evc glove 文章背景 1.在本文之前，关系提取主要依赖于统计机器学习方法，其性能是高还是低 这取决于提取特征的质量。 2.特征提取依赖于现有NLP系统的输出，这将导致错误在现有NLP工具中传播 依赖NLP工具 3.任务依赖性导致复杂
自然语言处理6 -- 情感分析
hwaust2020的博客
05-21 1680
文章目录1 概述2 基于情感词典的传统方法2.1 基于词典的情感分类步骤2.2 情感词典2.3 情感词典文本匹配算法2.4 缺点3 基于深度学习的算法3.1 基于深度学习的情感分类步骤3.2 代码示例3.2.1 分词和停用词预处理3.2.2 词向量编码3.2.3 构建LSTM网络3.2.4 softmax输出类别3.3 基于深度学习的情感分析难点4. 总结 转载来源：https://blog.csdn.net/u013510838/article/details/82558797 1 概述 情感分析是自然语
深度学习吴恩达课程笔记(一)-深度学习概论、神经网络基础
10-25
相比传统机器学习，深度学习更注重模型的复杂性和能力，它能处理更为抽象的特征，并且在图像识别、语音识别、自然语言处理等领域取得了显著成果。 神经网络是实现深度学习的核心工具。人工神经网络（ANNs）是一种...
深度学习吴恩达课程笔记(二)-浅层神经网络、深层神经网络
10-25
【深度学习吴恩达课程笔记(二)-浅层神经网络、深层神经网络】涵盖了神经网络的基础知识，包括浅层神经网络的构建与反向传播，激活函数的选择，以及深层神经网络的优势。 首先，浅层神经网络的核心是双层神经网络。...
精品--自然语言处理、机器学习、深度学习笔记.zip
最新发布
02-05
这份“精品--自然语言处理、机器学习、深度学习笔记.zip”压缩包显然包含了这三个主题的详细学习资料，对于深入理解这些技术至关重要。 自然语言处理（NLP）是计算机科学的一个分支，旨在理解和生成人类语言。它...
2021版吴恩达深度学习课程笔记-神经网络
11-16
平板手写，课程见B站（https://www.bilibili.com/video/BV12E411a7Xn?p=1）
深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-word2evc-基于向量空间中词表示的有效估计
CSDNXXCQ的博客
08-10 7665
word2evc-基于向量空间中词表示的有效估计目录概念引入摘要大意介绍词的表示方式评价指标词向量训练方式研究成果 概念引入 逻辑回归 线性回归 时间序列分析 神经网络 self-attention与softmax的推导 语言模型 语言模型（language model, LM）在自然语言处理中占有重要的地位，尤其在基于统计模型的语音识别、机器翻译、汉语自动分词和句法分析等相关研究中得到了广泛应用。 概率P：语言模型是计算一个句子是是句子的概率。 比如，对ni hao的判定 你好 P = 0.8 腻浩
深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation
CSDNXXCQ的博客
08-11 7000
概念引入 逻辑回归 线性回归 时间序列分析 神经网络 self-attention与softmax的推导 word2evc 该篇论文的背景 word2evc提出的方法无法使用全局的统计信息 矩阵分解方法在词对推理的任务上表现很差 模型效果对比 在词对推理的数据集上取得了良好的效果(图中模型中地最好结果) ...
深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-char_embedding
CSDNXXCQ的博客
08-12 6933
本文目录概念引入由来摘要大意C2W模型语言模型的训练流程词性标注模型研究成果 概念引入 逻辑回归 线性回归 时间序列分析 神经网络 self-attention与softmax的推导 word2evc 由来 词向量的学习在自然语言处理的应用中非常重要，词向量可以在空间上捕获词之间的语法和语义相似性。但是词向量机制中是假设词和词之间是独立的，这种独立性假设是有问题的，形式的一致性会导致功能的一致性。但这种形态和功能之间的关系有不是绝对的，为了学习这种关系，本文在字符嵌入上使用双向LSTM来捕捉这种关系。 本文
对抗生成神经网络-GAN通俗理解
CSDNXXCQ的博客
08-03 5796
对抗生成神经网络-GAN通俗理解概念引入对抗生成神经网络效果的演变由来简介生成模型判别器工作原理损失函数--交叉熵损失函数(BCE)拓展-DCGAN网络架构 概念引入 超分辨率重构 图像超分辨率重构(super resolution,SR)是指利用计算机将一幅低分辨率图像(low resolution,LR)或图像序列进行处理，恢复出高分辨率图像(high resolution，HR)的一种图像处理技术。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用 。 原理：让计算机同
马尔可夫决策过程-强化学习学习笔记(二)
CSDNXXCQ的博客
01-19 3659
概念引入 强化学习的通俗理解 马尔可夫的通俗介绍 简介 马尔可夫决策过程 (Markov Decision Processes, MDPs)是对强化学习问题的数学描述. 马尔可夫决策过程（Markov Decision Process, MDP）是序贯决策（sequential decision）的数学模型，用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报 。MDP的得名来自于俄国数学家安德雷·马尔可夫（Андрей Андреевич Марков），以纪念其为马尔可夫链所做的研
神经网络基础-神经网络补充概念-51-局部最优问题
CSDNXXCQ的博客
08-17 2177
局部最优问题是在优化问题中常见的一个挑战，特别是在高维、非凸、非线性问题中。局部最优问题指的是算法在优化过程中陷入了一个局部最小值点，而不是全局最小值点。这会导致优化算法在某个局部区域停止，而无法找到更好的解。参数初始化策略：采用合适的参数初始化策略，如Xavier初始化、He初始化等，可以帮助降低陷入局部最优的风险。随机初始化：通过多次随机初始化模型参数，运行优化算法多次，以期望能够找到更好的初始点，从而避免陷入局部最优。多初始点策略：使用多个不同的初始点，运行优化算法多次，以期望找到更好的全局最优解。
动态规划-强化学习学习笔记(三)
CSDNXXCQ的博客
01-20 2160
概念引入 强化学习的通俗理解 马尔可夫决策过程 简介 动态规划（Dynamic Programming，DP）是运筹学的一个分支，是求解决策过程最优化的过程。20世纪50年代初，美国数学家贝尔曼（R.Bellman）等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，从而创立了动态规划。动态规划的应用极其广泛，包括工程技术、经济、工业生产、军事以及自动化控制等领域，并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了显著的效果 。 动态规划的适用范围
神经网络基础-神经网络补充概念-62-池化层
CSDNXXCQ的博客
08-18 2153
池化层（Pooling Layer）是深度学习神经网络中常用的一种层级结构，用于减小输入数据的空间尺寸，从而降低模型的计算复杂度，减少过拟合，并且在一定程度上提取输入数据的重要特征。平均池化（Average Pooling）： 在平均池化操作中，对于每个池化窗口，输出的值是窗口内元素的平均值。平均池化也有助于降低数据的维度，但相较于最大池化，可能会丢失一些局部细节。最大池化（Max Pooling）： 在最大池化操作中，对于每个池化窗口，输出的值是窗口内元素的最大值。
组会汇报(本科)-在复杂楼层背景下，一种基于深度强化学习的目的楼层预约调度算法的多智能体电梯群控系统的研究
CSDNXXCQ的博客
07-14 2053
在复杂楼层背景下，一种基于深度强化学习的目的楼层预约调度算法的多智能体电梯群控系统的研究
深度学习神经网络学习笔记-多模态方向-09-VQA: Visual Question Answering
CSDNXXCQ的博客
05-22 2033
我们提出了自由形式和开放式视觉问答(VQA)的任务。给定一张图像和一个关于图像的自然语言问题，任务是提供一个准确的自然语言答案。镜像现实场景，比如帮助视障人士，问题和答案都是开放式的。视觉问题有选择地针对图像的不同区域，包括背景细节和底层上下文。因此，在VQA上取得成功的系统通常需要比生成通用图像标题的系统更详细地了解图像和复杂的推理。此外，VQA适合自动评估，因为许多开放式答案只包含几个单词或一组封闭的答案，这些答案可以以多项选择的形式提供。
神经网络基础-神经网络补充概念-49-adam优化算法
CSDNXXCQ的博客
08-17 1988
Adam算法综合了动量（momentum）和均方梯度的移动平均（RMSProp）来更新模型参数。与传统的梯度下降法不同，Adam维护了一个每个参数的动量变量和均方梯度的移动平均变量，并在每个迭代步骤中使用这些变量来调整学习率。2初始化动量变量和均方梯度的移动平均：初始化动量变量为零向量，初始化均方梯度的移动平均为零向量。对动量变量和均方梯度的移动平均进行偏差修正，以减轻初始迭代的影响。5更新均方梯度的移动平均：计算均方梯度的移动平均。4更新动量变量：计算动量变量的移动平均。3计算梯度：计算当前位置的梯度。
HCIA-Security网络安全学习笔记：OSI模型、TCP/IP协议详解
HCIA-Security 网络安全学习笔记 本笔记涵盖了HCIA-Security 认证考试的重要知识点，包括网络安全、USG 模拟器使用、OSI 模型、TCP/IP 模型、各层协议之间的关系等。 **USG 模拟器使用** USG 模拟器是网络安全...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丰。。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值