[Character Embedding]论文实现：Text Understanding from Scratch

论文：Text Understanding from Scratch
作者：Xiang Zhang，Yann LeCun
时间：2016

In this article we show that text understanding can be handled by a deep learning system without artificially embedding knowledge about words, phrases, sentences or any other syntactic or semantic structures associated with a language.
这篇论文展示了文本理解可以通过深度学习系统来处理，而不需要人工嵌入关于单词、短语、句子或任何其他与一种语言相关的句法或语义结构的知识。

一、完整代码

为了方便直接使用，这里直接展示完整代码：

import tensorflow as tf
import numpy as np
import pandas as pd

s = 'abcdefghijklmnopqrstuvwxyz0123456789,;.!?:’"/\|_@#$%ˆ&*˜‘+-=<>()[]{}'
vocabulary = list(s)
text_vectorizer = tf.keras.layers.TextVectorization(output_mode="int", vocabulary=vocabulary, split='character', output_sequence_length=500)

x_train = [
    'i do"t think you will win',
    'you are so bad',
    'you are unbelievable',
    'its taste is not good',
    'good',
    'so funny',
    'i"m so glad to hear that'
]
x_train = text_vectorizer(x_train).numpy()

y_train = np.array([0,0,0,0,1,1,1])


model = tf.keras.models.Sequential([
    tf.keras.layers.Input(shape=500),
    tf.keras.layers.Embedding(text_vectorizer.vocabulary_size(), 500),
    tf.keras.layers.Conv1D(filters=256, kernel_size=7, padding='same', activation='relu'),
    tf.keras.layers.MaxPool1D(pool_size=3,data_format='channels_first'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=7, padding='same', activation='relu'),
    tf.keras.layers.MaxPool1D(pool_size=3,data_format='channels_first'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=3, padding='same', activation='relu'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=3, padding='same', activation='relu'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=3, padding='same', activation='relu'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=3, padding='same', activation='relu'),
    tf.keras.layers.MaxPool1D(pool_size=3,data_format='channels_first'),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(1024, activation='relu'),
    tf.keras.layers.Dropout(0.5),
    tf.keras.layers.Dense(1024, activation='relu'),
    tf.keras.layers.Dropout(0.5),
    tf.keras.layers.Dense(1, activation='sigmoid'),
])

model.compile(
    loss=tf.keras.losses.BinaryCrossentropy(),
    metrics=['accuracy'],
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001)
)

history = model.fit(x=x_train, y=y_train, epochs=100, verbose=2)

pd.DataFrame(history.history).plot()

二、论文解读

在本节中，我们将介绍对文本理解的convnet的设计。该设计是模块化的，其中梯度是通过反向传播获得的来执行优化。

2.1 关键模块

两个模型非常经典，自行了解不多介绍，只贴一下论文解释：

Convolution 1-D （一维卷积）

Max pooling 1-D （一维最大池化）

2.2 字符量化

     文本其实就是一串字符，我们理解文本就是依据不同的字符组成的词来进行理解，从论文标题text understanding from scratch可以看出处理方法与我们一般方法不同，论文是直接根据字符串序列来理解文本的；

     论文的模型接受一系列编码的字符作为输入。编码是通过为输入语言指定一个大小为$m$的字典完成的，然后使用独热编码来量化每个字符。然后，将该字符序列转换为一个固定长度为$l$的$m$个大小的向量序列。字符串中任何长度超过$l$的字符都将被忽略，而任何不在字母表中的字符，包括空白字符，都将被量化为全零向量。字符量化顺序是向后的，因此对字符的最新读取总是放置在输出的开始点附近，这使得完全连接的层很容易将权重与最新读取关联起来；

     论文中的字典大小为70，其中包括26个英语字母、10位数字、新行和33个其他字符；如下所示：

这里量化后我们得到类似于下图的结果：

字符串量化之后我们得到一个大小为$l\ast m$的矩阵，多个字符串的话就是$B\ast l\ast m$，接下来进行模型结构；

2.3 模型结构

     论文中展示的模型结构如下所示，但是这里并不直观；

     模型流程大概是这样：先把Some Text进行量化，得到一个one-hot矩阵，矩阵大小为$B\ast l\ast m$，然后把one-hot矩阵使用Embedding进行嵌入，相当于乘一个$m\ast d$矩阵，得到矩阵大小为$B\ast l\ast d$，紧接着跟6个1维卷积和1维最大池化，然后平铺后进行三次全连接，在每两层全连接中掺插dropout层；最后的一次全连接取决于需要做的任务；

     论文中设置了一个大模型和一个小模型，模型参数设置如下：

1维卷积和1维最大池化：

全连接：

这里模型的构造就完毕了；

2.4 数据增强

许多研究者发现，适当的数据增强技术对于控制深度学习模型的泛化误差是有用的。当我们能够找到模型应该具有的适当的不变性属性时，这些技术通常工作得很好。就文本而言，像在图像或语音识别中那样使用信号转换来增加数据是不合理的，因为字符的确切顺序可能会形成严格的句法和语义意义。因此做数据增强的最好方法是使用人类重组句子，但这是不现实的和昂贵的，因为在我们的数据集中有大量的样本。因此，对我们来说，数据扩充中最自然的选择是用它们的同义词替换单词或短语。即使用同义词典增强数据；

三、过程实现

3.1 导包

这里用到的包有tensorflow，numpy，pandas；

import tensorflow as tf
import numpy as np
import pandas as pd

3.2 数据准备和字符量化

这里可以直接使用tensorflow中的TextVectorization函数进行处理：

s = 'abcdefghijklmnopqrstuvwxyz0123456789,;.!?:’"/\|_@#$%ˆ&*˜‘+-=<>()[]{}'
vocabulary = list(s)

# 这里的500表示的是最大长度即上文分析的l
text_vectorizer = tf.keras.layers.TextVectorization(output_mode="int", vocabulary=vocabulary, split='character', output_sequence_length=500) 

# 得到vocabulary的大小
text_vectorizer.vocabulary_size()

x_train = [
    'i do"t think you will win',
    'you are so bad',
    'you are unbelievable',
    'its taste is not good',
    'good',
    'so funny',
    'i"m so glad to hear that'
]
x_train = text_vectorizer(x_train).numpy()

# 得到 x_train 为
# array([[10,  1,  5, ...,  0,  0,  0],
#        [26, 16, 22, ...,  0,  0,  0],
#        [26, 16, 22, ...,  0,  0,  0],
#        ...,
#        [ 8, 16, 16, ...,  0,  0,  0],
#        [20, 16,  1, ...,  0,  0,  0],
#        [10, 14,  1, ...,  0,  0,  0]], dtype=int64)

# 准备一下y_train
y_train = np.array([0,0,0,0,1,1,1])

3.3 模型建立

这里我们根据上文的参数建立一个小模型，代码如下：

model = tf.keras.models.Sequential([
    tf.keras.layers.Input(shape=500),
    tf.keras.layers.Embedding(text_vectorizer.vocabulary_size(), 500),
    tf.keras.layers.Conv1D(filters=256, kernel_size=7, padding='same', activation='relu'),
    tf.keras.layers.MaxPool1D(pool_size=3,data_format='channels_first'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=7, padding='same', activation='relu'),
    tf.keras.layers.MaxPool1D(pool_size=3,data_format='channels_first'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=3, padding='same', activation='relu'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=3, padding='same', activation='relu'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=3, padding='same', activation='relu'),
    tf.keras.layers.Conv1D(filters=256, kernel_size=3, padding='same', activation='relu'),
    tf.keras.layers.MaxPool1D(pool_size=3,data_format='channels_first'),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(1024, activation='relu'),
    tf.keras.layers.Dropout(0.5),
    tf.keras.layers.Dense(1024, activation='relu'),
    tf.keras.layers.Dropout(0.5),
    tf.keras.layers.Dense(1, activation='sigmoid'),
])

model.compile(
    loss=tf.keras.losses.BinaryCrossentropy(),
    metrics=['accuracy'],
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001)
)

# 开始训练
history = model.fit(x=x_train, y=y_train, epochs=100, verbose=2)

3.4 训练结果

训练结果如下图所示：

pd.DataFrame(history.history).plot()

四、整体总结

没什么好总结的；