自然语言处理-核心部分CNN

CNN百度百科

• 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）” 。
• 对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络；在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。
• 卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。

学习目标：

了解CNN在自然语言处理中的使用

---

代码：

import os
import sys
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from keras.preprocessing.text import Tokenizer  # 标记器
from keras.preprocessing.sequence import pad_sequences  # 序列
from keras.layers import Dense, Input, GlobalMaxPooling1D  # 浓稠，输入，全局最大池化
from keras.layers import Conv1D, MaxPooling1D, Embedding  # 卷积，池化，嵌入
from keras.models import Model  # 模型
from sklearn.metrics import roc_auc_score  # 模型评估

MAX_SEQUENCE_LENGTH = 100  # 每一句话最大单词量
MAX_VOCAB_SIZE = 20000  # 序列最大词汇种类
EMBEDDING_DIM = 100  # 嵌入矩阵维度
VALIDATION_SPLIT = 0.2  # 验证集切分比例
BATCH_SIZE = 128  # 批量处理的个数，步长
EPOCHS = 10  # 训练次数

print('Loading word vectors...')
word2vec = {
   }
with open('data/glove.6B/glove.6B.%sd.txt' % EMBEDDING_DIM, encoding='utf-8') as f:<