卷积神经网络(CNN)应用于自然语言处理(NLP)

说到CNN,大家自然想到图像处理。
说到NLP,大家自然想到LSTM,RNN。
但是,去年的斯坦福论文表明,CNN照样可以应用于NLP,并且效果可能更好。

博主做了实验,爬取了各类新闻并对新闻进行分类。这样的分类问题,RNN和CNN都可以达到99%左右的效果,但是,CNN几乎比RNN快了5倍。于是,博主主要针对CNN对于NLP处理中的细节展开讨论。

1.CNN为什么可以处理NLP
随着词向量的发展,word2vec,Glove等现有的词向量库已经能较好的表达词语的含义。因此,我们用N维-词向量就可以度量词语之间的距离,想象N维空间,每个词语是其中的一点。

2.CNN做NLP,输入是什么?
作为卷积操作,类似于图像,输入也是一个二维矩阵,(图像可以说是三维的,因为还有一维是通道数吧)。然后每一行是一个词语的向量,每个输入的二维矩阵就是M个词语,N维度的词向量组成的M*N的矩阵。

3.CNN做NLP,怎么卷积?
选择好了输入,接下来就是卷积。不同于图像处理的卷积,CNN对NLP的卷积核大小有要求,一般来说,卷积核的长度和词向量的维度应该是一致的。比如一个词向量是N维的,那么卷积核就应该是X*N维的,我一般X取(1,2,3。借鉴斯坦福论文)。所以卷积就是提取1个词、2个词、3个词之间的特征。

4.CNN做NLP,还要注意啥?
比如双通道的输入。一般的embedding-layer是可训练的,我使用的模型是2-embedding-layer,一

  • 6
    点赞
  • 36
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
卷积神经网络(Convolutional Neural Network, CNN)是一种专门针对图像、视频等结构化数据设计的深度学习模型,它在计算机视觉、语音识别、自然语言处理等多个领域都有广泛用。CNN的核心设计理念源于对生物视觉系统的模拟,尤其是大脑皮层中视觉信息处理的方式,其主要特点包括局部感知、权重共享、多层级抽象以及空间不变性。以下是CNN技术的详细介绍: ### **1. 局部感知与卷积操作** **卷积层**是CNN的基本构建块,它通过使用一组可学习的滤波器(或称为卷积核)对输入图像进行扫描。每个滤波器在图像上滑动(卷积),并以局部区域(感受野)内的像素值与滤波器权重进行逐元素乘法后求和,生成一个输出值。这一过程强调了局部特征的重要性,因为每个滤波器仅对一小部分相邻像素进行响,从而能够捕获图像中的边缘、纹理、颜色分布等局部特征。 ### **2. 权重共享** 在CNN中,同一滤波器在整个输入图像上保持相同的权重(参数)。这意味着,无论滤波器在图像的哪个位置用,它都使用相同的参数集来提取特征。这种权重共享显著减少了模型所需的参数数量,增强了模型的泛化能力,并且体现了对图像平移不变性的内在假设,即相同的特征(如特定形状或纹理)不论出现在图像的哪个位置,都由相同的滤波器识别。 ### **3. 池化操作** **池化层**通常紧随卷积层之后,用于进一步降低数据维度并引入一定的空间不变性。常见的池化方法有最大池化和平均池化,它们分别取局部区域的最大值或平均值作为输出。池化操作可以减少模型对微小位置变化的敏感度,同时保留重要的全局或局部特征。 ### **4. 多层级抽象** CNN通常包含多个卷积和池化层堆叠在一起,形成深度网络结构。随着网络深度的增加,每一层逐渐提取更复杂、更抽象的特征。底层可能识别边缘、角点等低级特征,中间层识别纹理、部件等中级特征,而高层可能识别整个对象或场景等高级语义特征。这种层级结构使得CNN能够从原始像素数据中自动学习到丰富的表示,无需人工设计复杂的特征。 ### **5. 激活函数与正则化** CNN中通常使用非线性激活函数(如ReLU、sigmoid、tanh等)来引入非线性表达能力,使得网络能够学习复杂的决策边界。为了防止过拟合,CNN常采用正则化技术,如L2正则化(权重衰减)来约束模型复杂度,以及Dropout技术,在训练过程中随机丢弃一部分神经元的输出,以增强模型的泛化性能。 ### **6. 用场景** CNN在诸多领域展现出强大的用价值,包括但不限于: - **图像分类**:如识别图像中的物体类别(猫、狗、车等)。 - **目标检测**:在图像中定位并标注出特定对象的位置及类别。 - **语义分割**:对图像中的每个像素进行分类,确定其所属的对象或背景类别。 - **人脸识别**:识别或验证个体身份。 - **图像生成**:通过如生成对抗网络(GANs)等技术创建新的、逼真的图像。 - **医学影像分析**:如肿瘤检测、疾病诊断等。 - **自然语言处理**:如文本分类、情感分析、词性标注等,尽管这些任务通常结合其他类型的网络结构(如循环神经网络)。 ### **7. 发展与演变** CNN的概念起源于20世纪80年代,但其影响力在硬件加速(如GPU)和大规模数据集(如ImageNet)出现后才真正显现。经典模型如LeNet-5用于手写数字识别,而AlexNet、VGG、GoogLeNet、ResNet等现代架构在图像识别竞赛中取得突破性成果,推动了CNN技术的快速发展。如今,CNN已经成为深度学习图像处理领域的基石,并持续创新,如引入注意力机制、残差学习、深度可分离卷积等先进思想。 综上所述,卷积神经网络通过其独特的局部感知、权重共享、多层级抽象等特性,高效地从图像数据中提取特征并进行学习,已成为解决图像和视频处理任务不可或缺的工具,并在众多实际用中取得了卓越的效果。
卷积神经网络(Convolutional Neural Network, CNN)是一种专门针对图像、视频等结构化数据设计的深度学习模型,它在计算机视觉、语音识别、自然语言处理等多个领域都有广泛用。CNN的核心设计理念源于对生物视觉系统的模拟,尤其是大脑皮层中视觉信息处理的方式,其主要特点包括局部感知、权重共享、多层级抽象以及空间不变性。以下是CNN技术的详细介绍: ### **1. 局部感知与卷积操作** **卷积层**是CNN的基本构建块,它通过使用一组可学习的滤波器(或称为卷积核)对输入图像进行扫描。每个滤波器在图像上滑动(卷积),并以局部区域(感受野)内的像素值与滤波器权重进行逐元素乘法后求和,生成一个输出值。这一过程强调了局部特征的重要性,因为每个滤波器仅对一小部分相邻像素进行响,从而能够捕获图像中的边缘、纹理、颜色分布等局部特征。 ### **2. 权重共享** 在CNN中,同一滤波器在整个输入图像上保持相同的权重(参数)。这意味着,无论滤波器在图像的哪个位置用,它都使用相同的参数集来提取特征。这种权重共享显著减少了模型所需的参数数量,增强了模型的泛化能力,并且体现了对图像平移不变性的内在假设,即相同的特征(如特定形状或纹理)不论出现在图像的哪个位置,都由相同的滤波器识别。 ### **3. 池化操作** **池化层**通常紧随卷积层之后,用于进一步降低数据维度并引入一定的空间不变性。常见的池化方法有最大池化和平均池化,它们分别取局部区域的最大值或平均值作为输出。池化操作可以减少模型对微小位置变化的敏感度,同时保留重要的全局或局部特征。 ### **4. 多层级抽象** CNN通常包含多个卷积和池化层堆叠在一起,形成深度网络结构。随着网络深度的增加,每一层逐渐提取更复杂、更抽象的特征。底层可能识别边缘、角点等低级特征,中间层识别纹理、部件等中级特征,而高层可能识别整个对象或场景等高级语义特征。这种层级结构使得CNN能够从原始像素数据中自动学习到丰富的表示,无需人工设计复杂的特征。 ### **5. 激活函数与正则化** CNN中通常使用非线性激活函数(如ReLU、sigmoid、tanh等)来引入非线性表达能力,使得网络能够学习复杂的决策边界。为了防止过拟合,CNN常采用正则化技术,如L2正则化(权重衰减)来约束模型复杂度,以及Dropout技术,在训练过程中随机丢弃一部分神经元的输出,以增强模型的泛化性能。 ### **6. 用场景** CNN在诸多领域展现出强大的用价值,包括但不限于: - **图像分类**:如识别图像中的物体类别(猫、狗、车等)。 - **目标检测**:在图像中定位并标注出特定对象的位置及类别。 - **语义分割**:对图像中的每个像素进行分类,确定其所属的对象或背景类别。 - **人脸识别**:识别或验证个体身份。 - **图像生成**:通过如生成对抗网络(GANs)等技术创建新的、逼真的图像。 - **医学影像分析**:如肿瘤检测、疾病诊断等。 - **自然语言处理**:如文本分类、情感分析、词性标注等,尽管这些任务通常结合其他类型的网络结构(如循环神经网络)。 ### **7. 发展与演变** CNN的概念起源于20世纪80年代,但其影响力在硬件加速(如GPU)和大规模数据集(如ImageNet)出现后才真正显现。经典模型如LeNet-5用于手写数字识别,而AlexNet、VGG、GoogLeNet、ResNet等现代架构在图像识别竞赛中取得突破性成果,推动了CNN技术的快速发展。如今,CNN已经成为深度学习图像处理领域的基石,并持续创新,如引入注意力机制、残差学习、深度可分离卷积等先进思想。 综上所述,卷积神经网络通过其独特的局部感知、权重共享、多层级抽象等特性,高效地从图像数据中提取特征并进行学习,已成为解决图像和视频处理任务不可或缺的工具,并在众多实际用中取得了卓越的效果。
卷积神经网络(Convolutional Neural Networks,CNN)是一种深度学习神经网络,广泛用于图像识别、语音识别、自然语言处理等领域。在本文中,我们将使用PyTorch实现一个简单的CNN,并对其进行详细的解释和用实例。 ## CNN的基本结构 CNN由多个卷积层、池化层和全连接层组成。其中,卷积层和池化层是CNN最重要的部分。 ### 卷积层 卷积层是CNN中最基本的层,它通过将输入数据与一组卷积核进行卷积操作,提取出数据特征。卷积层的输入为一个三维张量,维度分别为(通道数,高度,宽度),卷积核也是一个三维张量,维度分别为(输入通道数,卷积核高度,卷积核宽度),卷积层的输出为一个三维张量,维度同输入。 在PyTorch中,我们可以通过使用`nn.Conv2d`类来创建卷积层,例如: ``` import torch.nn as nn # 创建一个输入通道数为3,输出通道数为16,卷积核大小为3x3的卷积层 conv_layer = nn.Conv2d(in_channels=3, out_channels=16, kernel_size=3) ``` ### 池化层 池化层是CNN用于降低特征图尺寸的一种方式。它通过对特征图进行下采样,减少特征图尺寸,同时保留重要的特征信息。常用的池化方式有最大池化和平均池化。 在PyTorch中,我们可以通过使用`nn.MaxPool2d`和`nn.AvgPool2d`类来创建最大池化层和平均池化层,例如: ``` # 创建一个2x2的最大池化层 max_pool_layer = nn.MaxPool2d(kernel_size=2) # 创建一个2x2的平均池化层 avg_pool_layer = nn.AvgPool2d(kernel_size=2) ``` ### 全连接层 全连接层是CNN中最后一层,它将卷积层和池化层提取出的特征图转换为一个一维向量,并连接到一个或多个全连接层进行分类或回归。在PyTorch中,我们可以使用`nn.Linear`类来创建全连接层,例如: ``` # 创建一个输入维度为256,输出维度为10的全连接层 fc_layer = nn.Linear(in_features=256, out_features=10) ``` ## CNN用实例 接下来,我们将使用PyTorch实现一个简单的CNN,并对其进行用实例,以MNIST数据集为例,进行手写数字识别。 首先,我们需要导入必要的库: ``` import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms ``` 然后,我们需要定义CNN的结构。在本例中,我们定义一个包含两个卷积层和两个最大池化层的CNN,以及一个全连接层进行分类。其中,每个卷积层的卷积核大小为3x3,池化层的池化大小为2x2。 ``` class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(in_channels=1, out_channels=16, kernel_size=3) self.pool1 = nn.MaxPool2d(kernel_size=2) self.conv2 = nn.Conv2d(in_channels=16, out_channels=32, kernel_size=3) self.pool2 = nn.MaxPool2d(kernel_size=2) self.fc1 = nn.Linear(in_features=32 * 5 * 5, out_features=120) self.fc2 = nn.Linear(in_features=120, out_features=10) def forward(self, x): x = self.pool1(torch.relu(self.conv1(x))) x = self.pool2(torch.relu(self.conv2(x))) x = x.view(-1, 32 * 5 * 5) x = torch.relu(self.fc1(x)) x = self.fc2(x) return x ``` 接下来,我们需要对训练数据进行预处理。在本例中,我们对数据进行了归一化,并将其转换为张量。 ``` transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))]) trainset = torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True, num_workers=2) testset = torchvision.datasets.MNIST(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False, num_workers=2) ``` 然后,我们定义损失函数和优化器。 ``` criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) ``` 最后,我们进行训练和测试。 ``` for epoch in range(10): running_loss = 0.0 for i, data in enumerate(trainloader, 0): inputs, labels = data optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() if i % 100 == 99: print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 100)) running_loss = 0.0 correct = 0 total = 0 with torch.no_grad(): for data in testloader: images, labels = data outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the 10000 test images: %d %%' % ( 100 * correct / total)) ``` 经过10次迭代的训练,最终得到的测试集准确率约为98%。 ## 总结 本文介绍了CNN的基本结构和用实例,并使用PyTorch实现了一个简单的CNN进行手写数字识别。CNN是深度学习中非常重要的一种神经网络,广泛用于图像识别、语音识别、自然语言处理等领域,希望本文对您有所帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值