生猪市场数据分析（五）：迁移学习应用于咨询分类初探

• 0、项目背景
  上篇博客说到，农业领域标准的数据集较为稀少，只能寄希望与其他领域已经开放的标准数据集或者预训练模型。本项目借助于标注好的微博情绪文本构建text_CNN模型，进而结合少量标注的生猪市场新闻数据构建迁移学习模型。

• 1、数据源
  新浪微博标注好的数据来自于
  https://github.com/murufeng/ChineseNlpCorpus，共计36 万多条，带情感标注 新浪微博，包含 4 种情感，其中喜悦约 20 万条，愤怒、厌恶、低落各约 5 万条。
  导入数据如下：
  

• 2、数据预处理
  数据预处理参见上一篇文章：生猪市场数据分析（四）：基于无监督学习构建LSTM模型用于咨询分类。
  主要流程为：分词、引入词向量、构建词向量矩阵。

• 3、构建text_CNN

• 借助keras构建CNN模型：主要模块有Conv1D、MaxPool1D、Flatten、Dense；卷积层激活函数使用relu，全连接层采用tanh（经本人测试文本分类使用tanh函数效果最佳，好于softmax以及relu等）。

model=Sequential()
model.add(Embedding(num_words,embedding_dim,weights=[embedding_matrix],input_length=max_tokens,trainable=False))
model.add(Conv1D(64,3,padding='same',strides=2,activation='relu'))
model.add(MaxPool1D(8))
model.add(Conv1D(128,4,padding='same',strides=1,activation='relu'))
model.add(MaxPool1D(4))
model.add(Conv1D(256,5,padding='same',strides=1,activation='relu'))
model.add(MaxPool1D(2))
model.add(Conv1D(512,6,padding='same',strides=1,activation='relu'))
model.add(MaxPool1D(1))
model.add(Flatten())
model.add(Dense(4,activation='tanh'))
#optimizer = Adam(lr=1e-3)
model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])
model.summary()

• text_CNN模型结构如下：

• 训练及测试模型

#训练模型
history=model.fit(X_train,Y_train,validation_split=0.1,epochs=20,batch_size=516)
#测试模型
model.evaluate(X_test,Y_test)
#保存模型
model.save('text_cnn0425.h5')

模型综合表现尚可，正确率在80%以上（此处仅为探讨，可以继续调参优化模型）。

• 5、使用LSTM以及上述构建的text_CNN模型预测生猪市场咨询；

plt.plot(history0.history['loss'])
plt.plot(history0.history['acc'])
plt.plot(history2.history['loss'])
plt.plot(history2.history['acc'])
plt.legend(['LSTM_loss','lstm_acc','text_CNN_loss','text_CNN_acc'])

结果如下（训练及测试过程省略）

可以看到text_CNN表现很差，LSTM模型表现尚可，主要原因是用于训练的数据集太小，只有1500+条数据。

• 5、构建迁移学习模型

迁移学习模型主要思路为冻结训练好的text_CNN模型的卷积层训练好的参数，重新训练全连接分类层。

• top模型层

top_model_ =Sequential()
top_model_.add(Dense(128,activation='tanh'))
top_model_.add(Dense(4,activation='tanh'))
top_model_.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])

• 冻结text_CNN卷积层

base_model = load_model('text_cnn0425.h5')
for layer in base_model.layers[:9]:
    layer.trainable = False

• 构建新模型并训练

new_model = Model(inputs=base_model.input,outputs=top_model_(base_model.output))
new_model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])
new_model.fit(sz_train,szt_train,validation_split=0.1,epochs=20,batch_size=128)

从模型的表现来看，提升较大，最高准确率可达85%，甚至比LSTM模型还要好一点。

• 6、验证

• 使用聚类分析将剩余6800+文本分类成4类，并用PCA降维可视化；

from sklearn.decomposition import PCA
model_pca = PCA(n_components=2)
model_pca.fit(sz_pad)
x=model_pca.transform(sz_pad)
x2 = []
x1=[]
for i in x:
    x1.append(i[0])
    x2.append(i[1])
# In[13]:
import matplotlib.pyplot as plt
import seaborn as sns
color = {0:'red',1:'blue',2:'green',3:'black'}
plt.scatter(x1,x2,color=[color[i] for i in doc_label.labels_],alpha=0.6)

• 用迁移学习模型验证结果

new_model.evaluate(sz_test,szt_test)

得出平均loss：0.599，平均正确率83.26%；应该说是一个可用级别的模型。