科赛——【文本情感分类模型搭建 | 练习赛】（咸鱼的划水之路~Score:0.813）

数据分析

先来观察下数据，训练集和测试集分别存储在当前目录下的train.csv和test.csv中

train_data = pd.read_csv('train.csv', lineterminator='\n')
test_data = pd.read_csv('test.csv', lineterminator='\n')
train_data.head(10)

输出：

数据处理

乍一看这个评论是什么鬼……咸鱼不懂，就只能直接使用jieba对其进行分词。

当然了，一些明显无意义的词我们还是应该对其进行删除，如数字、标点符号等等（具体哪些我是在后面统计词频时发现的）。

还有，注意到review字段的内容首字母都是大写的，中间也可能出现首字母大写的词语，所以构造词袋时，要将这些单词统一转换成小写，以免重复计算，像我这样的咸鱼，就干脆直接都统一转换成小写存入set进行去重。

#构建词袋
def getBagsOfWord(data):
    #使用python内置对象set，通过其或、差运算进行添加、删除词汇
    vocabSet = set()
    for rec in data['review']:
        #对每一条review进行jieba分词，并且统一小写化存入，空串返回None
        vocabSet |= set(list(map(lambda x:x.strip().lower() if len(x.strip().lower()) > 0 else None, jieba.cut(rec))))
    #删除空串
    vocabSet.remove(None)

    #删除指定的字符集
    vocabSet -= set(rmSignal)

    #删除数字
    vocabSet = filter(lambda x:not x.isdigit(), vocabSet)
    return vocabSet

#要删除的字符集
rmSignal = ['.', '?', '!', ':', '-', '+', '/', '"', ',']    

#构建训练集的词袋
vocabList = list(getBagsOfWord(train_data))#list(getBagsOfWord(train_data) | getBagsOfWord(test_data))

#输出词袋长度，以及前10个词汇
print(len(vocabList), vocabList[:10])

输出：

这里只统计了训练集的词袋，共有17582个，从词袋的部分内容我们可以看到，表情也被保留做词袋的内容了（咸鱼不懂怎么删除QAQ）。

然后我们再统计下词频，类似“的”，“地”，“得”等这些没有情感影响但经常使用的词，可以很容易的得出，当然，一些符号也会被统计出来。

#根据词袋计算词频
def getCountWords(data, vocabList):
    cntWords = [0] * len(vocabList)
    for rec in data['review']:
        sentence = list(map(lambda x:x.strip().lower() if len(x.strip().lower()) > 0 else None, jieba.cut(rec)))
        for wd in sentence:
            if wd in vocabList:
                cntWords[vocabList.index(wd)] += 1
    cntWords = [(cntWords[i], vocabList[i]) for i in range(len(vocabList))]
    return cntWords

    
cntWords = getCountWords(train_data, vocabList)

#将词频列表按词频大小排序
cntWords = sorted(cntWords, key=lambda x:x[0])

当然，这里可以使用TF-IDF计算出最重要的词汇（效果可能会好很多，而且更加简单粗暴！）

同时sklearn中，也封装好了一个可以获取关键词的接口CountVectorizer，具体用法这里不再介绍。

from sklearn.feature_extraction.text import CountVectorizer

使用matplotlib进行可视化分析，这里使用的条形统计图。

注意matplotlib可能会中文乱码，需要设置下字体参数。

#绘制出现次数最高的前topK个词语
def plotTopFrequeceWord(cntWords, topK=10):
    cntWords = sorted(cntWords, key=lambda x:x[0])[-topK:]
    print(cntWords)
    
    plt.bar(list(range(topK)), [x[0] for x in cntWords], align = 'center',color='steelblue', alpha = 0.8)
    plt.ylabel('词频')
    plt.xlabel('词语')
    plt.title('出现最多的前%s个词'%(topK))
    plt.xticks(list(range(topK)), [x[1] for x in cntWords])
    
    # 为每个条形图添加数值标签
    for x,y in enumerate(cntWords):
        plt.text(x, y[0], '%s' %(y[0]), ha='center')


# 中文乱码的处理
plt.rcParams['font.sans-serif'] =['SimHei']
plt.rcParams['axes.unicode_minus'] = False

plotTopFrequeceWord(cntWords, 20)

输出：

既然有了词汇表，那么接下来我们所要处理的评论，就都应该转换成其对应的词向量，便于后面的计算。

#将语句转换成指定词汇表的词向量
def word2Vec(vocabList, ip):
    recVec = [0] * len(vocabList)
    ip = jieba.cut(ip)

    for word in ip:
        word = word.strip().lower()
        #不在词汇表的不处理
        if word not in vocabList:
            continue
        
        #前期进行测试，所有输出了不在词汇表的单词
        if word in vocabList:
            recVec[vocabList.index(word)] = 1
        else:
            print("{0} is not in vocabList!".format(word))
    return recVec

然后将从csv文件读取到的数据，通过word2Vec函数，将每条评论转换成对应的词向量，最终转换成矩阵，以便于运算。

#将dataFrame数据变成矩阵
def makeDataMat(data, vocabList):
    data_mat = []
    for rec, label in zip(data['review'], data['label']):
        data_mat.append(word2Vec(vocabList, rec) + [label])

    return np.mat(data_mat, dtype=np.double)


#训练集
train_mat = makeDataMat(train_data, vocabList)

#测试集
test_mat = makeDataMat(test_data, vocabList)

#观察矩阵参数
print(train_mat.shape, test_mat.shape)

#观察矩阵稀疏情况
print("sparsity of train_mat is {0}%\n".format(100. - np.sum(train_mat[:100, :] / train_mat.shape[1])))
print("sparsity of train_mat is {0}%\n".format(100. - np.sum(test_mat[:10, :] / test_mat.shape[1])))

输出：

构建模型

朴素贝叶斯是可以作为一个简单又好用的垃圾分类器，算法思想挺简单的，这里不再介绍原理，大家可以去百度搜搜。

#训练二分类朴素贝叶斯，返回3个参数
#p0Vect表示在类别0中，各个词汇出现的概率向量
#p1Vect表示在类别1中，各个词汇出现的概率向量
#pAbusive表示训练集中，类别1的概率

#trainMatrix表示训练集的词汇矩阵
#trainCategory表示各个样本的类别
def trainNB0(trainMatrix, trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = trainMatrix.shape[1]
    
    #二分类问题，可直接对类别向量进行求和，即类别1的个数
    pAbusive = sum(trainCategory) / numTrainDocs
    p0Num = np.ones(numWords).reshape(1, -1)
    p1Num = np.ones(numWords).reshape(1, -1)

    #为避免计算概率时，分母为0,
    p0Denom = 2.
    p1Denom = 2.


    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    #将频率转换成概率
    p1Vect = p1Num / p1Denom
    p0Vect = p0Num / p0Denom
    return p0Vect, p1Vect, pAbusive

p0Vect, p1Vect, pAbusive = trainNB0(train_mat[:, :-1], train_mat[:, -1])

数据预测

这里因为在把词向量中每个元素相乘时，可能会导致结果很小，所以这里可以对最终的概率表达式进行求对数，这样就可以化乘为加。

但同样的，最后我们需要的是一个概率，所以我计算出数据为类别1的概率以及0的概率后，计算类别1的概率所占的比值，作为最终结果。

#预测数据
#vec2Classify表示待预测的数据
#p0Vec, p1Vec, pClass1分别对应着之前朴素贝叶斯模型的参数

def predictNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = np.sum(vec2Classify * p1Vec) + np.log(pClass1)
    p0 = np.sum(vec2Classify * p0Vec) + np.log(1-pClass1)
    
    #因为概率是小于1的，取对数后，结果小于0，所以为正类的概率要用1减去类别1的占比
    return p1 / (p1 + p0) if p1 > 0 else 1-p1 / (p1 + p0)

至此，所以技术问题已经解决，提交后score为0.81415231，咸鱼水平有限，大佬们勿喷。

看到一些大佬的高分策略，都是使用了一些框架，咳咳，我还是抓紧时间补补吧QAQ。

数据集和代码可以访问咸鱼的Github