谣言检测基本知识

最新推荐文章于 2024-06-30 05:00:00 发布
最新推荐文章于 2024-06-30 05:00:00 发布
阅读量2.6k 收藏 13
点赞数 1
分类专栏： 谣言检测 文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45193988/article/details/120318336
版权

文章目录

前言

   简单记录一下有关谣言检测的基本知识

一、谣言的定义

    谣言，学术上所说的谣言指的是未经证实的言论（这和我们普遍意义上理解的，谣言是虚假的信息不同）

二、谣言的分类

    谣言通常分为四类：恶搞名人型、制造恐慌型、捣乱取乐型、商业策划型

三、谣言传播公式

谣言=（事件的）重要性×（事件的）模糊性÷公众批判能力

1、网络剪枝（Network Pruning）

   实际上我们所训练的模型存在着很多冗余，有很多神经元根本就没有起到作用，所以我们要将这一部分的神经元“剪枝”

  1. 首先训练一个模型
  2. 评估神经元或者权重参数的重要性（可以直接比较权重的数值，越接近于零的越不重要）
  3. 移除不重要的参数
  4. 用剪枝后的模型继续训练微调，观察剪枝后模型效果，如果模型效果不好或者模型参数仍旧过大，则返回第二步
       那么我们为什么不直接训练小模型，因为一般来说小模型比较难以训练，而较大的模型比较好训练。
       而对于去掉神经元和去掉权重参数这两种方式，一般来说我呢不会选择去掉权重参数，因为去掉权重参数会导致计算不平衡，也就是权重参数不能构成一个矩阵，这样的情况下实际上并不能提高计算速度也不能减小参数存储空间（存储参数的时候实际上大多是补零存储，所谓的剪枝根本没有起到作用）

2、知识蒸馏（Knowledge Distillation）

   我们首先训练一个大的Teacher网络，然后输入数据A，大的网络得出结果（1：0.7 7:0.2 9:0.1），在较小的Student网络中同样输入训练数据A，让Student模仿Teacher的输出结果（1：0.7 7:0.2 9:0.1）

3、参数量化（Parameter Quantization）

   我们将参数分组，然后同一组的参数用一个参数表示

   这样我们在表示员矩阵的时候实际上每一个值所需要的存储空间变小了，原来要32bit、16bit,现在只要8bit,而换算表所占的存储空间也并不大，所以总体上减少了模型存储空间

4、架构设计（Architecture Design）

   在两层中间再加入一层，通过控制新加一层神经元的数量控制计算量

   例如：深度可分卷积（Depthwise Separable Convolution）

   通过将卷积拆成两步，将72（3*3*2*4）个参数减少为26（3*3*2+2*4）参数

5、动态计算(Dynamic Computation)

   根据目前的状态（算力是否充足，存储空间是否充足）选择适合的模型或者计算方法

动态计算的方法：

  1. 训练多个不同计算量的模型，根据需要选择模型（但是会导致所需的存储空间暴增）

  2. 将不同的中间层接到输出层，根据需要选择计算几个中间层（导致模型效果不好）

总结

   简要的介绍了一下谣言相关的知识

江_小_白
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
自动谣言检测综述分享——Automatic Rumor Detection on Microblogs: A Survey
weixin_41964296的博客
05-21 2589
谣言的传统定义来源于社会心理学[27]。也就是说，谣言是一种未经证实的说法，广泛传播，其真实价值未经证实或故意虚假。在这个定义下，一般的谣言被认为是一条信息，其真实性未经验证。未经证实的谣言是指未经权威或可信来源官方证实的信息，例如权威新闻机构或现场目击者。一般的谣言包括客观谣言和主观谣言。在不同的场景中，最好采用不同的定义。在社交媒体上，一般谣言经常被用来监控公众对争议事件的看法[28]。一般的谣言可能是名人的八卦，也可能是一种诽谤政治对手的竞选策略[4]，它吸引人们传播故事，而不是查明其真实性。
谣言检测论文分享（八）A Survey on Fake News and Rumour Detection Techniques
weixin_41964296的博客
06-05 1166
主要介绍开展谣言检测或假新闻检测的背景和研究意义。社交媒体在新闻传播中具有突出作用。一方面新闻记者可能会利用社交媒体报道公众对突发新闻事件的看法，甚至发现潜在的新故事；另一方面，公民可能会通过官方渠道(即新闻机构在社交媒体平台上的官方账号)或通过自己的网络(如朋友、家人、公众人物)的帖子来关注突发新闻和事件的发展。然而对帖子缺乏控制和事实核查使社交媒体成为传播未经证实和/或虚假信息的沃土[111]。人们经常发布或分享他人的帖子，既不验证消息来源，也不验证信息的有效性和可靠性。
刚刚，阿里发布AI谣言粉碎机，识别准确率达81%
cpongo011702
01-06 770
今天，阿里巴巴重磅推出了一项黑科技产品——AI谣言粉碎机，据称可以识别假新闻和网络谣言，并且在一些场景下准确率高达81%。不仅是阿里，今天各大科技公司也大开脑洞，先后发布多项黑科技，天马行空的想象让人大跌眼镜！比如科大讯飞的AI魔瞳，可以“眼动打字”，不用动嘴，不用动手，用眼睛就能打字发信息；支付宝发布了一款三折叠手机，神奇的是它不仅可以防诈骗，还可以在被偷之后飞回主人身边。听起来就超棒的有没有！...
基于深度学习的中文谣言检测方案
最新发布
mohen_777的博客
06-30 1362
窗口，选择 Xn 的最后 d 个字符来交替 Xn,1 之前的 d 个字符。相邻的几个字符相关联。相邻字符的范围在 Xn,m 的前 d 个字符和后 d 个字符。在第一个字符 Xn,1 和最后一个字符，他们没有直接相邻的字符。描目标实体的全局特征，从而获得新的抽象特征。由于像素级特征和词级特征都是向量的形式，因此，CNN 也可以用于语义建模。小的数据集，CNN 通常比较容易训练，因为它们的参数共享机制可以在小数据集上更好地泛。因此，由于本次任务所使用的数据集较小，理论上 CNN 会取得一个更好的效果，并且实。
谣言检测论文阅读 - Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks
qq_40671063的博客
01-04 2199
谣言检测论文阅读 - Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks
谣言检测日常笔记（1）
heartxq的博客
07-15 1747
谣言检测笔记（1） 谣言检测的实现主要涉及五个主要问题（流程） 定义：选定检测的对象——假新闻、虚假信息、或是谣言，基于事件或是单个帖子 数据收集：收集平台——新浪微博、twitter、Facebook或是其他社交平台（现有研究以前两个平台为主）；具体的数据收集方式——公共数据集或是自己采取其他爬虫策略… 特征提取：早期机器学习——按照先验知识（经验）提出能将谣言和非谣言区分开的特征，以便进行分类；后期深度学习——神经网络自动学习实现分类的特征。 分析和检测技术：研究者设计或改进的各种机器学习或深度学
基于Python+Django的谣言检测系统源代码，返回谣言命中的参考依据，计算谣言的可能性
12-06
安装完成后，通过运行`manage.py runserver`命令启动Django应用，该命令会在本地启动一个Web服务器，使你可以访问和测试谣言检测系统。 在源代码中，可能会有以下几个关键部分： 1. `settings.py`: Django项目的...
谣言检测论文（二）
weixin_41964296的博客
03-21 1090
动态信息传播结构动态图卷积网络融合时序模块进行谣言检测
谣言检测论文分享（四）
weixin_41964296的博客
04-14 878
社交媒体网站助长了各种假新闻，其中通常包含虚假甚至伪造的多媒体内容，以误导读者，迅速传播，因此，有必要和迫切地需要使用自动检测器，以防止假新闻造成严重的负面影响，使用户获得真实的信息。假新闻检测任务可以定义为一个二元分类问题，旨在将社交媒体上的声明分类为假新闻或非假新闻。在社交媒体假新闻检测社区中有两种类型的声明：帖子级（post）工作识别社交媒体的一个帖子是否为假新闻，而事件级（event）工作对构成事件的一组帖子进行假新闻检测。模型的目标是在post级别上识别一个帖子是否是假的。
大数据分析案例-基于朴素贝叶斯算法构建微博谣言检测模型
m0_64336780的博客
04-28 6416
本项目通过使用机器学习等算法对微博中谣言和非谣言数据进行分析建模，构造谣言检测模型，针对恶意的谣言进行精准识别，有效解决谣言引发诸多的不安定因素，并对经济和社会产生巨大的影响。本次实验通过对谣言数据进行分析建模，我们得出了以下结论：3.四个模型中，朴素贝叶斯算法模型效果最好，准确率为0.87。心得与体会：通过这次Python项目实战，我学到了许多新的知识，这是一个让我把书本上的理论知识运用于实践中的好机会。原先，学的时候感叹学的资料太难懂，此刻想来，有些其实并不难，关键在于理解。
谣言检测论文分享（三）
weixin_41964296的博客
03-26 1137
分析表明，如果谣言是假的，人们往往会停止传播(Zubiaga et al.， 2016b)。然而，识别这些虚假信息并非易事，需要新闻调查对可疑声明进行事实核查，这是一项劳动密集型和耗时的工作。社交媒体的泛滥使信息负荷和动态性不断增加，使情况变得更糟。因此，需要开发自动化和辅助的方法以方便实时的谣言追踪和揭穿。为了自动化谣言检测，之前的研究大多集中在基于特征工程的监督模型从序列微博流中进行文本挖掘(Castillo et al.， 2011;Kwon等人，2013;刘等，2015;
谣言检测(RDCL)——《Towards Robust False Information Detection on Social Networks with Contrastive Learning
虚幻私塾
11-02 1407
需要对 每个特征向量 zim,zjm,zneg zmi,zmj,zneg z_{m}^{i}, z_{m}^{j},z_{\text {neg }} 使用 l2l2l_2 normalization。因此，如果能够增加图级空间中样本对之间的距离，它将提供更大的梯度信号，从而增加模型的学习难度，提高对比学习的质量。Figure 5 说明，由 HPG 生成的数据增强图，他们之间的相似度小于其他数据增强方法，那么损失函数 SSL 会加大对模型的惩罚，提高对比学习的质量。
社交媒体中的谣言检测(A11, AAAI2015)
ABCD2010014357的博客
11-30 3116
Towards Detecting Rumours in Social Media 社交媒体中的谣言检测(A11, AAAI2015) 文章结果表明本文可以有效收集社交媒体中一系列故事的谣言，基于需要手动输入谣言特定关键词的现有技术这可能比较困难。文章引入了一个新颖的方法建立社交媒体谣言和非谣言数据集作为事件展开。
【自然语言处理（NLP）】基于LSTM的谣言检测
m0_54754302的博客
11-05 1934
【自然语言处理（NLP）】基于LSTM的谣言检测，基于百度飞桨开发，参考于《自然语言处理实践》所作。
谣言检测模型有哪些
weixin_35748962的博客
12-19 573
谣言检测模型主要分为两类：基于规则的模型和基于机器学习的模型。 基于规则的模型通常是由人类专家设计的规则集合，根据这些规则来判断消息是否属于谣言。这类模型的优点是精度高，但缺点是需要大量的人力来维护规则库，难以适应新的谣言形式。 基于机器学习的模型则是通过训练数据来学习识别谣言的模型，其优点是可以自动学习新的谣言形式，但缺点是需要大量的数据来训练模型，并且精度可能会比基于规则的模型低一些。 常见的...
谣言检测论文分享（一）
weixin_41964296的博客
03-26 1727
传统方法：主要采用用户特征、文本内容和传播模式等手工特征来训练有监督的分类器。如，决策树，随机森林，SVM等。然而，这些方法主要依赖于特征工程，非常耗时耗力。此外，这些手工设计的特征通常缺乏从谣言传播和散布过程中提取的更高层的表示。近期研究：利用了深度学习方法，从传播路径/树或网络中挖掘高级表示来识别谣言。许多深度学习模型，如长短期记忆（LSTM）、门控递归单元（GRU）和递归神经网络（RvNN）被使用，因为它们能够从谣言的时间传播中学习顺序特征。
谣言检测论文分享（七）A Survey on Natural Language Processing for Fake News Detection
weixin_41964296的博客
06-01 553
首先揭示了自动假新闻检测的重要性和定义。然后比较和讨论了最新的基准数据集和不同方法的实验结果。在此基础上，该文对未来的假新闻检测数据集提出了新的建议，并对未来的假新闻检测模型提出了以下建议:研究手工特征是否可以与神经网络模型结合、非文本数据的合理使用以及扩展基于内容的验证方式。
今日 Paper | 社交媒体谣言检测；连续手语识别；细粒度服装相似性学习；混合图神经网络等
喜欢打酱油的老鸟
02-20 1002
2020-02-18 15:43 目录 基于双向图卷积神经网络的社交媒体上谣言检测 用于连续手语识别的时空多线索网络 基于属性特定嵌入网络的细粒度服装相似性学习 混合图神经网络在人群计数中的应用 使用卫星图像中的目标检测生成可解释的贫困地图 基于双向图卷积神经网络的社交媒体上谣言检测 论文名称：Rumor D...
通过人群响应进行中文谣言检测（IEEE2014）
ABCD2010014357的博客
08-25 1860
Rumors Detection in Chinese via Crowd Responses 通过群众响应进行中文谣言检测（IEEE2014）不同于之前的使用微博固有的特征进行检测谣言的研究，本文转移前提，关注于通过从特定社会事件的群众响应：转帖和评论提取特征识别事件谣言。文章中，使用文本分析和自然语言处理技术分析转帖和评论文本来自动划分错误信息和有效信息。
谣言检测transformer
01-20
谣言检测是指通过分析文本内容来判断该文本是否包含谣言或虚假信息。Transformer是一种基于注意力机制的神经网络模型，被广泛应用于自然语言处理任务中，包括谣言检测。 在谣言检测中，我们可以使用Transformer的编码器作为语义提取器。编码器将整个句子作为输入，并通过注意力机制和多层感知机（MLP）为每个字生成一个编码向量。这些编码向量包含了整个句子的语义信息。然后，我们可以将这些向量输入到全连接网络中进行分类，判断文本是否为谣言。 需要注意的是，由于Transformer的注意力机制可以同时处理整个句子，因此它具有较好的并行能力。然而，与循环神经网络（RNN）相比，Transformer缺少了上下文信息，即没有考虑到不同词之间的顺序。因此，在使用Transformer进行谣言检测时，需要注意这一点。 下面是一个基于PyTorch和Transformer实现谣言检测的示例代码： ```python import torch import torch.nn as nn import torch.optim as optim from torchtext.data import Field, TabularDataset, BucketIterator from torch.nn import TransformerEncoder, TransformerEncoderLayer # 定义模型 class RumorDetectionTransformer(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, n_layers, n_heads, dropout): super().__init__() self.embedding = nn.Embedding(input_dim, hidden_dim) self.encoder_layer = TransformerEncoderLayer(hidden_dim, n_heads) self.encoder = TransformerEncoder(self.encoder_layer, n_layers) self.fc = nn.Linear(hidden_dim, output_dim) self.dropout = nn.Dropout(dropout) def forward(self, text): embedded = self.embedding(text) embedded = embedded.permute(1, 0, 2) output = self.encoder(embedded) output = output.permute(1, 0, 2) pooled = torch.mean(output, dim=1) pooled = self.dropout(pooled) return self.fc(pooled) # 数据预处理 TEXT = Field(tokenize='spacy', lower=True) LABEL = Field(sequential=False, is_target=True) fields = [('text', TEXT), ('label', LABEL)] train_data, test_data = TabularDataset.splits( path='data', train='train.csv', test='test.csv', format='csv', fields=fields ) TEXT.build_vocab(train_data, vectors='glove.6B.100d') LABEL.build_vocab(train_data) # 模型训练 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') BATCH_SIZE = 64 train_iterator, test_iterator = BucketIterator.splits( (train_data, test_data), batch_size=BATCH_SIZE, device=device ) INPUT_DIM = len(TEXT.vocab) HIDDEN_DIM = 100 OUTPUT_DIM = 1 N_LAYERS = 2 N_HEADS = 2 DROPOUT = 0.2 model = RumorDetectionTransformer(INPUT_DIM, HIDDEN_DIM, OUTPUT_DIM, N_LAYERS, N_HEADS, DROPOUT).to(device) optimizer = optim.Adam(model.parameters()) criterion = nn.BCEWithLogitsLoss().to(device) def train(model, iterator, optimizer, criterion): model.train() epoch_loss = 0 for batch in iterator: optimizer.zero_grad() text = batch.text label = batch.label.float() predictions = model(text).squeeze(1) loss = criterion(predictions, label) loss.backward() optimizer.step() epoch_loss += loss.item() return epoch_loss / len(iterator) def evaluate(model, iterator, criterion): model.eval() epoch_loss = 0 with torch.no_grad(): for batch in iterator: text = batch.text label = batch.label.float() predictions = model(text).squeeze(1) loss = criterion(predictions, label) epoch_loss += loss.item() return epoch_loss / len(iterator) N_EPOCHS = 10 best_valid_loss = float('inf') for epoch in range(N_EPOCHS): train_loss = train(model, train_iterator, optimizer, criterion) valid_loss = evaluate(model, test_iterator, criterion) if valid_loss < best_valid_loss: best_valid_loss = valid_loss torch.save(model.state_dict(), 'rumor_detection_transformer.pt') # 模型使用 model.load_state_dict(torch.load('rumor_detection_transformer.pt')) def predict_rumor(text): model.eval() tokenized = [tok.text for tok in TEXT.tokenizer(text)] indexed = [TEXT.vocab.stoi[t] for t in tokenized] tensor = torch.LongTensor(indexed).unsqueeze(1).to(device) prediction = torch.sigmoid(model(tensor)) return prediction.item() # 示例使用 text = "这是一条谣言" prediction = predict_rumor(text) print(f"谣言概率：{prediction}") ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值