基于文本内容的垃圾短信识别实战

1、实战的背景与目标

背景：

垃圾短信形式日益多变，相关报告可以在下面网站查看

360互联网安全中心（http://zt.360.cn/report/）

目标：

基于短信文本内容，建立识别模型，准确地识别出垃圾短信，以解决垃圾短信过滤问题

2、总体流程

 3、代码实现

1、数据探索

导入数据

#数据导入，设置第一行不为头标签并设置第一列数据为索引

message = pd.read_csv("./data/message80W1.csv",encoding="UTF-8",header=None,index_col=0)

更换列名

message.columns =["label","message"]

查看数据形状

message.shape


# (800000, 2)

整体查看数据

message.info()

"""
<class 'pandas.core.frame.DataFrame'>
Int64Index: 800000 entries, 1 to 800000
Data columns (total 2 columns):
 #   Column   Non-Null Count   Dtype 
---  ------   --------------   ----- 
 0   label    800000 non-null  int64 
 1   message  800000 non-null  object
dtypes: int64(1), object(1)
memory usage: 18.3+ MB
"""

查看数据是否有重复值（若有目前不清除，等抽样后，再处理样本数据）

message.duplicated().sum()


#13424

查看垃圾短信与非垃圾短信的占比

data_group = message.groupby("label").count().reset_index()


import matplotlib.pyplot as plt

fig = plt.figure(figsize=(8,8))

plt.rcParams["font.sans-serif"] = ["SimHei"]    # 设置中文字体为黑体
plt.rcParams["axes.unicode_minus"] = False      # 设置显示负号

plt.title("垃圾短信与非垃圾短信的占比饼图",fontsize=12)

plt.pie(data_group["message"],labels=["非垃圾短信","垃圾短信"],autopct="%0.2f%%",startangle=90,explode=[0,0.04])

plt.savefig("垃圾短信与非垃圾短信的占比饼图.jpg")

plt.show()

 2、进行数据抽样

先抽取抽样操作 ，垃圾短信，非垃圾短信  各1000， 占比为   1:1

n = 1000

a = message[message["label"] == 0].sample(n)   #随机抽样

b = message[message["label"] == 1].sample(n)

data_new = pd.concat([a,b],axis=0)  #数据按行合并

3、进行数据预处理

数据清洗 去重  去除x序列 （这里的 x序列指  数据中已经用 XXX 隐藏的内容，例如手机号、名字，薪资等敏感数据）

#去重

data_dup = data_new["message"].drop_duplicates()


#去除x序列
import re

data_qumin = data_dup.apply(lambda x:re.sub("x","",x))

进行 jieba分词操作

import jieba


jieba.load_userdict("./data/newdic1.txt")  #向 jieba 模块中添加自定义词语

data_cut = data_qumin.apply(lambda x:jieba.lcut(x))  #进行分词操作


#设置停用词
stopWords = pd.read_csv('./data/stopword.txt', encoding='GB18030', sep='hahaha', header=None)   #设置分隔符为 不存在的内容，实现分割

stopWords = ['≮', '≯', '≠', '≮', ' ', '会', '月', '日', '–'] + list(stopWords.iloc[:, 0])


#去除停用词
data_after_stop = data_cut.apply(lambda x:[i for i in x if i not in stopWords])

#提取标签
labels = data_new.loc[data_after_stop.index,"label"]



#使用空格分割词语
adata = data_after_stop.apply(lambda x:" ".join(x))

将上述操作封装成函数

def data_process(file='./data/message80W1.csv'):
    data = pd.read_csv(file, header=None, index_col=0)
    data.columns = ['label', 'message']
    
    n = 10000

    a = data[data['label'] == 0].sample(n)
    b = data[data['label'] == 1].sample(n)
    data_new = pd.concat([a, b], axis=0)

    data_dup = data_new['message'].drop_duplicates()
    data_qumin = data_dup.apply(lambda x: re.sub('x', '', x))

    jieba.load_userdict('./data/newdic1.txt')
    data_cut = data_qumin.apply(lambda x: jieba.lcut(x))

    stopWords = pd.read_csv('./data/stopword.txt', encoding='GB18030', sep='hahaha', header=None)
    stopWords = ['≮', '≯', '≠', '≮', ' ', '会', '月', '日', '–'] + list(stopWords.iloc[:, 0])
    data_after_stop = data_cut.apply(lambda x: [i for i in x if i not in stopWords])
    labels = data_new.loc[data_after_stop.index, 'label']
    adata = data_after_stop.apply(lambda x: ' '.join(x))

    return adata, data_after_stop, labels

4、进行词云图绘制

调用函数，设置数据

adata,data_after_stop,labels = data_process()

非垃圾短信的词频统计

word_fre = {}
for i in data_after_stop[labels == 0]:
    for j in i:
        if j not in word_fre.keys():
            word_fre[j] = 1
        else:
            word_fre[j] += 1

绘图

            
from wordcloud import WordCloud
import matplotlib.pyplot as plt

fig = plt.figure(figsize=(12,8))

plt.title("非垃圾短息词云图",fontsize=20)

mask = plt.imread('./data/duihuakuan.jpg')

wc = WordCloud(mask=mask, background_color='white', font_path=r'D:\2023暑假\基于文本内容的垃圾短信分类\基于文本内容的垃圾短信识别-数据&代码\data\simhei.ttf')

wc.fit_words(word_fre)



plt.imshow(wc)

 垃圾短信词云图绘制（方法类似）

word_fre = {}
for i in data_after_stop[labels == 1]:
    for j in i:
        if j not in word_fre.keys():
            word_fre[j] = 1
        else:
            word_fre[j] += 1


from wordcloud import WordCloud
import matplotlib.pyplot as plt

fig = plt.figure(figsize=(12,8))

plt.title("垃圾短息词云图",fontsize=20)

mask = plt.imread('./data/duihuakuan.jpg')

wc = WordCloud(mask=mask, background_color='white', font_path=r'D:\2023暑假\基于文本内容的垃圾短信分类\基于文本内容的垃圾短信识别-数据&代码\data\simhei.ttf')

wc.fit_words(word_fre)

plt.imshow(wc)

 

 5、模型的构建

采用   TF－IDF权重策略

权重策略文档中的高频词应具有表征此文档较高的权重，除非该词也是高文档频率词

TF：Term frequency即关键词词频，是指一篇文档中关键词出现的频率

                   N：单词在某文档中的频次 ,     M：该文档的单词数

IDF：Inverse document frequency指逆向文本频率，是用于衡量关键词权重的指数

       D：总文档数 ,     Dw：出现了该单词的文档数

调用 Sklearn库中相关模块解释

sklearn.feature_extraction.text  #文本特征提取模块

CosuntVectorizer           #转化词频向量函数

fit_transform()              #转化词频向量方法

get_feature_names()    #获取单词集合方法

toarray()                       #获取数值矩阵方法

TfidfTransformer          #转化tf-idf权重向量函数

fit_transform(counts)   #转成tf-idf权重向量方法




transformer = TfidfTransformer()      #转化tf-idf权重向量函数

vectorizer = CountVectorizer()        #转化词频向量函数

word_vec = vectorizer.fit_transform(corpus)     #转成词向量

words = vectorizer.get_feature_names()          #单词集合

word_cout = word_vec.toarray()                  #转成ndarray

tfidf = transformer.fit_transform(word_cout)    #转成tf-idf权重向量

tfidf_ma= tfidf.toarray()                       #转成ndarray

采用朴素贝叶斯算法

 多项式朴素贝叶斯——用于文本分类 构造方法：

sklearn.naive_bayes.MultinomialNB(alpha=1.0 #平滑参数, 
                                  fit_prior=True #学习类的先验概率  ,
                                  class_prior=None) #类的先验概率

模型代码实现

from sklearn.feature_extraction.text import CountVectorizer,TfidfTransformer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB


data_train,data_test,labels_train,labels_test = train_test_split(adata,labels,test_size=0.2)

countVectorizer = CountVectorizer()


data_train = countVectorizer.fit_transform(data_train)

X_train = TfidfTransformer().fit_transform(data_train.toarray()).toarray()


data_test = CountVectorizer(vocabulary=countVectorizer.vocabulary_).fit_transform(data_test)

X_test = TfidfTransformer().fit_transform(data_test.toarray()).toarray()


model = GaussianNB()


model.fit(X_train, labels_train)  #训练


model.score(X_test,labels_test)  #测试



#  0.9055374592833876