《Web安全之机器学习入门》笔记：第十六章 16.3 恶意评论识别（二）

最新推荐文章于 2024-03-11 09:27:21 发布
最新推荐文章于 2024-03-11 09:27:21 发布
阅读量712 收藏 7
点赞数 1
分类专栏： Web安全之机器学习入门 文章标签： web安全 机器学习 恶意评论识别 RNN 朴素贝叶斯
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mooyuan/article/details/122768630
版权

本小节使用NB和RNN两种方法识别恶意评论。

 

1、数据集获取

（1）正面影评

数据集的位置：../data/movie-review-data/review_polarity/txt_sentoken/pos/

x1,y1=load_files("../data/movie-review-data/review_polarity/txt_sentoken/pos/",0)

（2）负面影评

数据集的位置：../data/movie-review-data/review_polarity/txt_sentoken/neg/

x2,y2=load_files("../data/movie-review-data/review_polarity/txt_sentoken/neg/", 1)

（3）数据获取

def load_one_file(filename):
    x=""
    with open(filename) as f:
        for line in f:
            x+=line
    return x

def load_files(rootdir,label):
    list = os.listdir(rootdir)
    x=[]
    y=[]
    for i in range(0, len(list)):
        path = os.path.join(rootdir, list[i])
        if os.path.isfile(path):
            print("Load file %s" % path)
            y.append(label)
            x.append(load_one_file(path))
    return x,y

def load_data():
    x=[]
    y=[]
    x1,y1=load_files("../data/movie-review-data/review_polarity/txt_sentoken/pos/",0)
    x2,y2=load_files("../data/movie-review-data/review_polarity/txt_sentoken/neg/", 1)
    x=x1+x2
    y=y1+y2
    return x,y

def main(unused_argv):
    global n_words

    x,y=load_data()
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.4, random_state=0)

    vp = learn.preprocessing.VocabularyProcessor(max_document_length=MAX_DOCUMENT_LENGTH, min_frequency=1)
    vp.fit(x)
    x_train = np.array(list(vp.transform(x_train)))
    x_test = np.array(list(vp.transform(x_test)))
    n_words=len(vp.vocabulary_)
    print('Total words: %d' % n_words)

打印结果

Total words: 28334

 

2、RNN模型

def do_rnn(trainX, testX, trainY, testY):
    global n_words
    # Data preprocessing
    # Sequence padding
    print("GET n_words embedding %d" % n_words)


    trainX = pad_sequences(trainX, maxlen=MAX_DOCUMENT_LENGTH, value=0.)
    testX = pad_sequences(testX, maxlen=MAX_DOCUMENT_LENGTH, value=0.)
    # Converting labels to binary vectors
    trainY = to_categorical(trainY, nb_classes=2)
    testY = to_categorical(testY, nb_classes=2)

    # Network building
    net = tflearn.input_data([None, MAX_DOCUMENT_LENGTH])
    net = tflearn.embedding(net, input_dim=n_words, output_dim=128)
    net = tflearn.lstm(net, 128, dropout=0.8)
    net = tflearn.fully_connected(net, 2, activation='softmax')
    net = tflearn.regression(net, optimizer='adam', learning_rate=0.001,
                             loss='categorical_crossentropy')

    # Training
    model = tflearn.DNN(net, tensorboard_verbose=3)
    model.fit(trainX, trainY, validation_set=(testX, testY), show_metric=True,
             batch_size=32,run_id="maidou")

3、NB模型

def do_NB(x_train, x_test, y_train, y_test):
    gnb = GaussianNB()
    y_predict = gnb.fit(x_train, y_train).predict(x_test)
    score = metrics.accuracy_score(y_test, y_predict)
    print('NB Accuracy: {0:f}'.format(score))

4、完整代码

import tensorflow as tf
from tensorflow.contrib.learn.python import learn
from sklearn import metrics
from sklearn.model_selection import train_test_split
import numpy as np
from sklearn.naive_bayes import GaussianNB
import os
from sklearn.feature_extraction.text import CountVectorizer
from tensorflow.contrib.layers.python.layers import encoders
from sklearn import svm
import tflearn
from tflearn.data_utils import to_categorical, pad_sequences
from tflearn.datasets import imdb


MAX_DOCUMENT_LENGTH = 200
EMBEDDING_SIZE = 50

n_words=0


def load_one_file(filename):
    x=""
    with open(filename) as f:
        for line in f:
            x+=line
    return x

def load_files(rootdir,label):
    list = os.listdir(rootdir)
    x=[]
    y=[]
    for i in range(0, len(list)):
        path = os.path.join(rootdir, list[i])
        if os.path.isfile(path):
            print("Load file %s" % path)
            y.append(label)
            x.append(load_one_file(path))
    return x,y

def load_data():
    x=[]
    y=[]
    x1,y1=load_files("../data/movie-review-data/review_polarity/txt_sentoken/pos/",0)
    x2,y2=load_files("../data/movie-review-data/review_polarity/txt_sentoken/neg/", 1)
    x=x1+x2
    y=y1+y2
    return x,y

def do_rnn(trainX, testX, trainY, testY):
    global n_words
    # Data preprocessing
    # Sequence padding
    print("GET n_words embedding %d" % n_words)


    trainX = pad_sequences(trainX, maxlen=MAX_DOCUMENT_LENGTH, value=0.)
    testX = pad_sequences(testX, maxlen=MAX_DOCUMENT_LENGTH, value=0.)
    # Converting labels to binary vectors
    trainY = to_categorical(trainY, nb_classes=2)
    testY = to_categorical(testY, nb_classes=2)

    # Network building
    net = tflearn.input_data([None, MAX_DOCUMENT_LENGTH])
    net = tflearn.embedding(net, input_dim=n_words, output_dim=128)
    net = tflearn.lstm(net, 128, dropout=0.8)
    net = tflearn.fully_connected(net, 2, activation='softmax')
    net = tflearn.regression(net, optimizer='adam', learning_rate=0.001,
                             loss='categorical_crossentropy')

    # Training
    model = tflearn.DNN(net, tensorboard_verbose=3)
    model.fit(trainX, trainY, validation_set=(testX, testY), show_metric=True,
             batch_size=32,run_id="maidou")


def do_NB(x_train, x_test, y_train, y_test):
    gnb = GaussianNB()
    y_predict = gnb.fit(x_train, y_train).predict(x_test)
    score = metrics.accuracy_score(y_test, y_predict)
    print('NB Accuracy: {0:f}'.format(score))

def main(unused_argv):
    global n_words

    x,y=load_data()
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.4, random_state=0)

    vp = learn.preprocessing.VocabularyProcessor(max_document_length=MAX_DOCUMENT_LENGTH, min_frequency=1)
    vp.fit(x)
    x_train = np.array(list(vp.transform(x_train)))
    x_test = np.array(list(vp.transform(x_test)))
    n_words=len(vp.vocabulary_)
    print('Total words: %d' % n_words)
    do_NB(x_train, x_test, y_train, y_test)
    do_rnn(x_train, x_test, y_train, y_test)

if __name__ == '__main__':
  tf.app.run()

5、运行结果

RNN算法结果

......
Training Step: 378  | total loss: 0.08034 | time: 15.892s
| Adam | epoch: 010 | loss: 0.08034 - acc: 0.9874 -- iter: 1152/1200
Training Step: 379  | total loss: 0.07429 | time: 16.334s
| Adam | epoch: 010 | loss: 0.07429 - acc: 0.9887 -- iter: 1184/1200
Training Step: 380  | total loss: 0.07552 | time: 18.796s
| Adam | epoch: 010 | loss: 0.07552 - acc: 0.9867

| val_loss: 1.07911 - val_acc: 0.6188 -- iter: 1200/1200
--

NB算法结果

NB Accuracy: 0.493750

如上NB算法准确率仅为49.37%左右，RNN准确率仅61.88%左右。从RNN的训练准确率可达到98%以上，而测试准确率如此不理想，可见泛化性能差了些，还有调优空间

mooyuan天天
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
学习笔记（十四）：RNN识别恶意评论
盐可
11-19 1828
1.数据集的收集清洗 使用Movie Review Data数据集，分为正负两种评论，将评论作为时序数据，取文件的前100个单词作为一个序列，每个单词又由词袋模型进行编码。 MAX_DOCUMENT_LENGTH = 200 EMBEDDING_SIZE = 50 n_words=0 def load_data(): x=[] y=[] x1,y1=load_f...
基于机器学习的恶意请求识别（Python代码及数据集）
05-21
这是作者恶意代码分析、网络安全、系统安全等系列教程，主要是通过机器学习、人工智能和深度学习来分析恶意代码的在线笔记。希望对您有所帮助，学无止境，一起加油。参考作者的博客和github资源，由于github速度限制，故上传免费资源供大家学习。 [网络安全自学篇] 二十四.基于机器学习的入侵检测和攻击识别——以KDD CUP99数据集为例 https://blog.csdn.net/Eastmount/article/details/102852458 https://github.com/eastmountyxz/AI-for-Malware-Analysis-
《Web安全之机器学习入门》笔记：第十六章 16.3 恶意评论识别（一）
mooyuan的博客
02-02 371
本小节通过RNN识别恶意评论。 1、数据集获取 本小节通过Movie Review Data数据集（共1000条正面评论、1000条负面评论）来识别恶意评论。 # IMDB Dataset loading train, test, _ = imdb.load_data(path='imdb.pkl', n_words=10000, valid_portion=0.1) trainX, trainY = train testX, te
基于神经网络和机器学习的恶意评论分类.pdf
08-04
基于神经网络和机器学习的恶意评论分类 Toxic Comment Classification Using Neural Networks and Machine Learning
Google要用机器学习检测恶意评论
IT人爱IT
03-01 1241
Google旗下的Jigsaw开发了一款AI工具Perspective，它使用机器学习检测网络上的骚扰和辱骂内容，可以帮助新闻机构和内容平台识别恶意评论。 　　Perspective软件可以确定网上评论的“毒性”，有毒程度则是通过挖掘数百万条评论，然后由 10 位评委进行打分而得到的。它会基于评论与被贴上“有毒”标签的评论的相似度，或评论迫使别人不再对话的可能性，进行打分。 　　Perspec
卷积神经网络识别负面评论
Yale的博客
05-21 1514
我们先来看看CNN的架构 传统的DNN（即Deep neural network，泛指一般的深度学习网路）最大问题在于它会忽略资料的形状。例如，输入影像的资料时，该data通常包含了水平、垂直、color channel等三维信息，但传统DNN的输入处理必须是平面的、也就是为一维的。比如使用DNN来分类MNIST手写数字集吗？其图像信息是水平28 pixels、垂直28 pixels、color channel=1，即(1, 28, 28)的形状，但输入DNN时，所有dataset必须转为一维的datase
恶意评论识别率提升14%！俄罗斯Sputnik App集成华为系统完整性检测
华为开发者联盟
02-18 1514
俄罗斯（Sputnik）是享有国际声誉的卫星通讯社，旗下新闻应用程序提供高质量的国际新闻，包括突发新闻、全球重大事件、深度报道、在线广告视频和独家采访。App集成了系统完整性检测功能后，应用市场内恶意评论识别率提升了14%。 业务挑战 Sputnik手机业务负责人Dmitry Priemov表示，“我们发现App运行的部分设备恶意攻击App，企图破解广告，”因此，他意识到，“我们需要知道哪些设备系统已被恶意篡改，因为那可能导致我们的App广告被破解。”此外，“对于商店中的差评，我们也需要快速评估是否是来自
第7章 负面评论识别
lieslyang的博客
10-08 592
测试数据来自互联网电影资料库（Internet Movie Database, IMDB），IMDB是一个关于电影演员、电影、电视节目、电视明星和电影制作的在线数据库。介绍识别负面评论使用的数据集以及使用的特征提取方法，包括词袋和TF-IDF模型、词汇表模型、Word2Vec和Doc2Vec模型。介绍使用的模型以及对应的验证结果，，包括朴素贝叶斯、支持向量机和深度学习。水军的大行其道，严重影响了社会舆论，尤其是有组织地针对公众任务、企业的诽谤和攻击行为，造成严重的社会影响。7.3.2 支持向量机算法。
1本书：《 Web安全之机器学习入门》
02-20
国内安全行业，经过BAT3以及大量新兴的创业企业进入企业安全领域，他们利用自身固有的数据搜集，处理，积累以及人工智能方面的优势，不断改变着着整个安全行业，安全产品的形态从硬件传统安全企业也必
网络安全：基于机器学习的数字验证码识别，matlab实现，包含数据集以及全部源码
05-28
在网络安全领域，验证码（CAPTCHA）...通过深入研究和实践，我们可以了解到如何利用MATLAB和机器学习技术来解决网络安全中的验证码识别问题，这对于提升网络安全防护能力，以及深化对机器学习的理解都有着重要的价值。
基于机器学习算法的恶意代码检测
12-18
基于机器学习的恶意代码检测，R语言实现小实验，基础知识讲解
评论系统的实现代码
11-22
很好的实现了评论功能！里面有评论各种功能，比如点赞等。
机器学习、信息安全、《Web安全之机器学习入门》实现代码、深度学习算法实现.zip
05-08
《Web安全之机器学习入门》实现代码与深度学习算法实现 在当今的信息化时代，网络安全已经成为全球关注的重要问题。特别是Web安全，它涉及到用户数据保护、网站防护以及防止恶意攻击等多个方面。随着技术的发展，...
基于机器学习的恶意加密流量识别系统
最新发布
06-25
【作品名称】：基于机器学习的恶意加密流量识别系统 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】：# 使用机器学习的...
《Web安全之深度学习实战》笔记：第七章 负面评论识别
mooyuan的博客
03-07 1154
本小节讲述通过
基于机器学习的web异常检测
w36680130的博客
01-21 124
基于机器学习的web异常检测
python数据集_利用 Python 分析 MovieLens 1M 数据集
weixin_39696197的博客
11-24 870
1 数据集简介MovieLens数据集是一个关于电影评分的数据集，里面包含了从IMDB, The Movie DataBase上面得到的用户对电影的评分信息，详细请看下面的介绍。1 links.csv文件里面的内容是帮助你如何通过网站id在对应网站上找到对应的电影链接的。1.1 数据格式movieId, imdbId, tmdbId1.1.1 movieId表示这部电影在movielens上的id...
PyTorch实践项目：LSTM 微博恶意评论多分类
大面鱼的博客
03-11 787
每个评论列表的大小# 词汇表的大小加上 1# 总共有6个类别# LSTM 层数# 循环次数# 将输入的文本进行词嵌入表示的操作# LSTM 的输入维度就是 embedding_size，即 300。batch_first=True 表示将 batch_size 设置成第一个维度。bidirectional=True 表示设置 LSTM 模型为双向的# 全连接层，其中 output_size 就是类别数量，即 6'''batch_size：一组数据有多少个，即 64。
通过机器学习识别恶意url
热门推荐
菜文鸡
08-11 2万+
利用机器学习【逻辑回归，svm】判断url是否为恶意 环境：Python3
23.基于机器学习的恶意请求识别及安全领域中的机器学习1
08-03
声明：本人坚决反对利用教学方法进行犯罪的行为，一切犯罪行为必将受到严惩，绿色网络需要我们共同维护，更推荐大家了解它们背后的原理，更好地进行防护。一.安全领域中的

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mooyuan天天

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值