读CharCNN文章

最新推荐文章于 2022-12-27 08:52:45 发布
最新推荐文章于 2022-12-27 08:52:45 发布
阅读量274 收藏
点赞数
分类专栏： 深度学习 文章标签： charcnn 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huangqihao723/article/details/105779718
版权

    charcnn 顾名思义，对于一段文本来说，我们以字符作为最小单位，而不是词语了。对于中文来说，我的名字叫做推推，那么到字符级别的话，该句子的构成为[我，的，名，字，叫，做，推，推] ，而不是 [我的,名字,叫做,推推]

 

1.字符的量化

  • 对于英文来说，常见的包括26个英文字母，10个阿拉伯数字，还有33个标点符号，不在这69个字符的统一用1个表示

  • 对于每个字符来说，可以用one-hot表示，长度为m，一段文本，由h个字符构成，那么就形成了 h*m 的矩阵
  • 接下去就丢给CNN来操作了

  • paper中提到一段文本提取1014个字符，就可以捕获大部分文本的含义了

 

2.模型结构

 卷积层

  • 池化层N/A表示缺省
  • 初始化权重是从gaussian 分布中抽取，均值为0，在第一个Large model中采用0.02的标准差，第二个Small model中采用0.05的标准差

 

全连接层

 

  • 第9层 根据自己的分类任务自行设定
  • 在7，8两个全连接层，用了dropout，p=0.5

 

3.用同义词词典做数据增强

  • 数据增强一般用于控制泛化误差，在图像或者语音识别领域，一般是用循转来做，但在文本领域是不行的，因为文本是有序的，所以考虑同义词
  • 提到两个概率，一个词被替换的概率  和  一个词有多个同义词，选择哪个同义词的概率。

 

4.一些讨论：

  • 最后一点印象最深刻，叫做天下没有免费的午餐，没有一个单独的机器学习模型对任何数据集是有效的! 
  • CharCNN，不需要words，适用于不同语言
  • 传统的模型，像n-grams TFIDF 在 成百上千数据集中效果比价好，当数据集达到数百万级别，CharCNN会开始表现更好
  • 对于用户产生的数据，例如评论，charcnn 比 以word为基础的深度神经网络 表现的更好
  • 在百万级别的数据集中，不区分大小写表现的更好，一个猜测是有正则化的效果，但没有被验证过
  • 在情感分析人物中，各种模型区别不大

  • Bag-of-means ， 效果不理想，word2vec的表示可能对分类没有带来更好的好处

 

 

 

 

refer：https://arxiv.org/pdf/1509.01626.pdf

https://github.com/srviest/char-cnn-text-classification-pytorch

huangqihao723
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Char-CNN
Torero_lch的博客
09-08 2635
论文Character-level Convolutional Networks for Text Classification中提出了Char-CNN来做文本分类。 Char-CNN首先制作字符表，对应把字符转换成one-hot向量，于是一个句子就转换成了字符one-hot向量构成的向量矩阵，然后经过多个卷积层、池化层和全连接层进行分类。 个人感觉论文中对模型细节的描述实在太精简了，去翻了好...
Char-CNN理解
莫一丞元
09-05 1579
背景 Char-CNN算法来源于发表在NIPS2015的论文：Character-level Convolutional Networks for Text Classification（基于CNN的字符级文本分类）中。 深度学习处理自然语言处理问题，有的基于短语，有的基于单词。该篇文章受启发于CV领域的像素级别，因此采用从字符角度出发重新训练神经网络。神经网络就不需要提前知道关于单词的知识（lookupTable or word2vec），并且这些单词的知识往往是高维的，很难应用于卷积神经网络中。除此之外
char-cnn 分类
cherish
01-05 391
目录1 目的和思想2 模型原理3 char-cnn 总结 1 目的和思想 char-cnn 模型的目的：分类 char-cnn 的整体思想：利用字符级别（以70个固定字符，以1014个文本中字符形成的one-hot 矩阵）进行卷积池化全连接，实现分类 模型出自论文：Character-level Convolutional Networks for Text Classification 2 模型原理 模型实现： 建立字符表共70（feature）个字符，将文本以1014（length）的字符进行截断，使
自然语言处理（五）：字符级卷积神经网络char-cnn理解
悠哉的咸鱼的博客
08-27 1154
论文地址：https://papers.nips.cc/paper/2015/file/250cf8b51c773f3f8dc8b4be867a9a02-Paper.pdf 一、背景 对于语言的输入，按照我们之前的做法是将词汇embedding成词向量。该做法的优缺点如下： 优点： 1、充分考虑了单词的内部信息，比如“love”和"like"作为近义词，生成的词向量会更为相似。 2、因为词汇embedding后包含的信息较多，所以构建模型时不需要大量的训练数据。 缺点: 1、需要考虑到文本的内部语法信
lstm-char-cnn, 基于CNN的LSTM语言模型.zip
09-18
lstm-char-cnn, 基于CNN的LSTM语言模型 基于的字符识别神经语言模型论文字符识别神经语言模型 ( AAAI 2016 )的代码。基于字符输入的神经语言模型( NLM ) 。 预测仍在单词级别进行。 模型采用卷积神经网络( CNN ) 作为输入，作为长周期记忆( LSTM )
CharCnn_Keras:使用基于Keras的字符级卷积神经网络实现文本分类
05-03
ArXiv预印本（2018） Kim的CharCNN最初是经过端到端训练的语言建模管道的一部分，但已被改编为文本分类。用法安装依赖项（Tensorflow 1.3和Keras 2.1.3）： $ pip install -r requirements.txt在config.json文件中...
lstm-char-cnn-tensorflow：进行中
02-03
-help将打印usage: main.py [-h] [--epoch EPOCH] [--word_embed_dim WORD_EMBED_DIM] [--char_embed_dim CHAR_EMBED_DIM] [--max_word_length MAX_WORD_LENGTH] [--batch_size BATCH_SIZE] [--seq_length S
CNN BackPropagation
最新发布
05-08
卷积神经网络（CNN，Convolutional Neural Network）是一种在图像处理、计算机视觉以及自然语言处理等领域广泛应用的深度学习模型。CNN的特点在于其利用卷积层来捕获图像的局部特征，通过池化层来降低维度，以及使用...
一文读懂卷积神经网络(CNN)
02-25
先明确一点就是，DeepLearning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。第一点，在学习Deeplearning和CNN之前，总以为它们是很了不得的知识，总以为它们能解决很多问题，学习了之后，...
CharCNN论文笔记
qq_42791848的博客
01-10 500
CharCNN 之前看了TextCNN，也就是基于词级别的CNN，卷积的时候是对多个词向量（window size）进行卷积。Character-level Convolutional Networks for Text Classification 这篇文章从一个新的视角来看待文本数据，那就是字符（character），本文通过实现字符级别的卷积神经网络来做文本分类任务，与传统文本分类方法和深度神经网络如CNN、RNN相比，在多个数据集上取得了不错的效果。 Background CharCNN主要针对的还
中文短文本分类实例四-charCNN-kim（Character-Aware Neural Language Models）
大漠帝国的博客
06-15 1984
一.概述 charCNN不同于TextCNN，不同语言级别（字符级char-level、词级word-level、句子级sentence-level）对应不同的策略，论文Character-Aware Neural Language Models(Yoon Kim)可以看成CRNN(cnn-lstm)结构，论文地址:Character-Aware Neural Langu...
Char-CNN模型学习及实现
潘多拉星系的专栏
10-23 3220
文章目录一、Char-CNN模型结构1，字符编码2，模型卷积-池化层二、使用同义词扩充数据集三、该模型的结论四、基于tensorflow的实现1、数据集及数据处理2、模型构建3、训练和测试参考资料   今天学习了发表在NIPS2015的论文：Character-level Convolutional Networks for Text Classification基于CNN的字符级文本分类。现将模...
【pytorch模型实现5】ChartextCNN
lyj223061的博客
02-18 374
ChartextCNN模型实现 NLP模型代码github仓库：https://github.com/lyj157175/Models import torch import torch.nn as nn class ChartextCNN(nn.Module): '''6层卷积，3层全连接层''' def __init__(self, config): super(ChartextCNN, self).__init__() self.in_featu
基于CharCNN实现中文情感分类任务
CSDN 精品推荐
12-27 962
本项目是使用Character-level Convolutional Networks for Text Classification一文中提出的CharCNN模型进行文本情感分析，针对数据为购物评价信息，可以判断出语料所含情感的积极性，实现思路就是针对评价进行二分类，也就是简单的指出评价是正面的还是负面的。
Char-RNN pytorch 官方
sinat_15355869的博客
10-15 424
链接： 代码： from __future__ import unicode_literals, print_function, division from io import open import glob import os import unicodedata import string """ Python glob()函数的作用和用法 https://blog.csdn.net...
char-cnn+torch+ubuntu14.04(RNN)
liuxiabing150的专栏
07-04 2008
一 搭建Torch 环境 1 在命令行依次执行下列命令： # in a terminal, run the commands curl -sk https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash git clone https://github.com/torch/distro.git ~/t
深度之眼Paper带读笔记NLP.26：大规模语料模型
老毛的博客
11-07 649
文章目录前言第一课 论文导读作业 前言 Exploring the limits of language model 探索语言模型的极限 作者：Rafal Jozefowicz，Oriol Vinyals，mike Schuster，Noam Shazeer，Yonghui Wu 单位：Google Brain团队 论文来源：ICML 2016 在线LaTeX公式编辑器 别人的讲解 本节将会向大家...
[深度学习] 自然语言处理 --- 文本分类模型总结
热门推荐
摩登都市天空---专栏
07-23 1万+
文本分类 包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMO，BERT等）的文本分类 fastText 模型 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention 模型 RCNN 模型 Adversarial LSTM 模型 Transformer 模型 ELMO 预训练模型 BERT 预训练模型 ...
char-cnn+torch+ubuntu16.04(RNN) 安装过程
自由飞翔的专栏
06-12 6134
char-cnn+torch+ubuntu16.04(RNN) 安装过程1. 搭建Torch 环境1.1 安装Torch7 的依赖项# in a terminal, run the commands curl -sk https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bashcd ~/torch; ./i
Fast_R-CNN中文翻译1
08-03
"Fast R-CNN是一种用于目标检测的快速基于区域的卷积神经网络方法，由Ross Girshick提出。它建立在深度卷积网络的基础上，显著提升了训练和测试速度，同时保持了高检测准确度。相比于R-CNN和SPPnet，Fast R-CNN在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值