复现Zoom Out and Observe: News Environment Perception for Fake News Detection代码踩坑记录

最新推荐文章于 2024-09-13 10:27:31 发布
最新推荐文章于 2024-09-13 10:27:31 发布
阅读量501 收藏 9
点赞数 4
分类专栏： pytorch 文章标签： 深度学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingfengloser/article/details/129452017
版权
作者在复现ZoomOutandObserve方法检测假新闻的代码过程中遇到了数据获取、模型准备和运行时的多个问题，包括torch版本不兼容、预训练模型下载失败、环境配置错误等。通过调整代码和环境设置，如修改torch版本、处理HTTPError、解决服务器联网问题、调整transformers的使用方式，以及适应不同语言数据集的差异，作者逐步解决了这些问题并成功运行了模型训练。
摘要由CSDN通过智能技术生成

复现Zoom Out and Observe: News Environment Perception for Fake News Detection代码踩坑记录

注意事项

本文作者的环境配置的主要是运行中文数据集的配置，所以英文数据集作者可能疏忽了，很多地方都需要改，中文部分应该不需要改这么多，但有问题应该也差不多就是了…

数据获取

首先从github上下载代码，地址是https://github.com/ICTMCG/News-Environment-Perception/
这篇论文的数据是作者新整理的，使用需要提交表单获得作者授权，完事后作者会将数据发送到你填写的邮箱，地址是Application to Use the Datasets for News Environment Perceived Fake News Detection"这些都是readme中有的就不废话了。

处理数据

因为服务器装的是cuda11.1，支持不了1.6.0，重装cuda太慢了，所以我直接用的1.8，其他的和作者给的一样。

python==3.6.10
torch==1.8.0
transformers==4.0.0

运行Step1.1: Prepare the SimCSE model的时候，我遇到的问题

  1. 首先是系统可能会报错cannot import name ‘SAVE_STATE_WARNING’，这种情况是因为torch版本的问题，直接根据报错的文件找到报错行，将from *** import SAVE_STATE_WARNING注释掉，换成SAVE_STATE_WARNING=“”即可。
  2. 其次就是在获取预训练模型的时候会出问题，会报错如下：
requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/PretrainedLM/bert-base-uncased/resolve/main/vocab.txt

或者：

Unauthorized for url: https://huggingface.co/PretrainedLM/bert-base-uncased/

经过查看BERT官方API文档，发现是因为调用参数和地址变了，官方如下所示：
BERT
将作者的代码部分改成这样就行，修改成如下所示：
代码修改部分1

  1. 你还可能在服务器上运行脚本的时候，它报参数不能识别，具体原因我也不清楚，既然如此，让他成为一行就行了，如下所示：
    代码修改部分2

运行Step1.2: Obtain the texts’ representations时，我遇到的问题

  1. 遇到的第一个问题是MAX_LEN未定义不能识别，代码中是在判断中创建的局部变量，在前面加一个定义就好：
    代码修改部分3

  2. 遇到的第二个问题如下：

Traceback (most recent call last):
  File "get_repr.py", line 177, in <module>
    device=device)
  File "get_repr.py", line 46, in __init__
    self.tokenizer = BertTokenizer.from_pretrained(PTM_path)
  File "/home/common/anaconda3/envs/chenyuchao-torch18/lib/python3.6/site-packages/transformers/tokenization_utils_base.py", line 1747, in from_pretrained
    local_files_only=local_files_only,
  File "/home/common/anaconda3/envs/chenyuchao-torch18/lib/python3.6/site-packages/transformers/file_utils.py", line 1007, in cached_path
    local_files_only=local_files_only,
  File "/home/common/anaconda3/envs/chenyuchao-torch18/lib/python3.6/site-packages/transformers/file_utils.py", line 1177, in get_from_cache
    "Connection error, and we cannot find the requested files in the cached path."
ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.

我们的服务器有点特殊，需要手动登录校园网账号联网…
然后又报错如下：

Traceback (most recent call last):
  File "get_repr.py", line 177, in <module>
    device=device)
  File "get_repr.py", line 46, in __init__
    self.tokenizer = BertTokenizer.from_pretrained(PTM_path)
  File "/home/common/anaconda3/envs/chenyuchao-torch18/lib/python3.6/site-packages/transformers/tokenization_utils_base.py", line 1762, in from_pretrained
    raise EnvironmentError(msg)
'. Make sure that:d tokenizer for './train_SimCSE/ckpts/English

' is a correct model identifier listed on 'https://huggingface.co/models'

' is the correct path to a directory containing relevant tokenizer files

参考答案在：https://deathymz.blog.csdn.net/article/details/118943896?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-118943896-blog-124115501.pc_relevant_recovery_v2&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-118943896-blog-124115501.pc_relevant_recovery_v2&utm_relevant_index=1
我将run.sh改成如下内容，直接放到命令行运行可以，调用sh run.sh不行，不理解…
代码修改4
ddd
然鹅又出现了这个错误(别太荒谬)…这算半天到100%的文件没存？
在这里插入图片描述
完事发现with open文件不存在时，只能创建文件，但是不能创建文件夹，这里把dataset里面的数据复制一份，在SimCSE新建data文件夹，将dataset里面的文件搁里面就行。
复制过后结构如下：
在这里插入图片描述
然后就可以了，如下图所示。
在这里插入图片描述

运行step2: Construct the macro & micro environment

我打算先跑的是英文数据集，但是报如下错误，检查后发现中英文某些json字段不一样，中文是有time，英文是date，代码直接是取得time字段的值，因此报错。
修改代码如下：
在这里插入图片描述
然后就还要在当前文件夹下新建以下文件夹：
在这里插入图片描述
然后就可以了。
在这里插入图片描述

运行step3: Prepare for the specific detectors

Tokenization by Word Embeddings

运行这部分遇到的问题是下载nltk的时候卡死了，解决办法是：https://blog.csdn.net/Friedrichor/article/details/122445086
加载完数据是这样：
在这里插入图片描述

Tokenization by BERT

这一步很顺利，没遇到问题
在这里插入图片描述

Event Adversarial Training

这一步也没问题
在这里插入图片描述

Emotion Features

报错如下：
在这里插入图片描述
运行下图的preprocess.ipynb文件(我是在centos服务器上运行的，懒得配置notebook了)，或者新建一个preprocess.py文件，把ipynb文件内容复制到其中，运行之后，再运行之前那个命令，结果如下：
在这里插入图片描述

Fact-checking Articles

第一步，Retrieve the most relevant articles for every post.
将以下文件夹的ipynb文件复制到py文件，运行。
运行的时候可能会报错bm25找不到，安装bm25后又报错gensim找不到，这时候需要安装gensim==3.8.3，命令如下：

pip install bm25
pip install gensim==3.8.3

然后运行的时候报错如下：
在这里插入图片描述
查看中文处理的代码段发现和英文不一样，应该是本篇论文作者主要使用中文数据集的缘故，我是跑的英文数据集…
修改代码如下图，其中English.py中的内容和English.ipynb一样…
在这里插入图片描述
再次运行就可以了…
在这里插入图片描述
第二步，Tokenize the fact-checking articles by word embeddings:
在加载article的时候出现这个问题：
在这里插入图片描述
检查数据后发现是数据里面没有“content_all”字段，(作者能不能长点心，这篇论文的代码bug也太多了)，修改代码如下：
在这里插入图片描述
加载完如下：
在这里插入图片描述

训练模型

首先在model下新建文件夹如下：
在这里插入图片描述

运行脚本，如果报参数不能识别就给他弄到一行，如果报以下错误，解决办法：https://blog.csdn.net/imqyt/article/details/123067857

ModuleNotFoundError: No module named ‘torch_geometric‘

终于开始训练了，泪目》| __|《
在这里插入图片描述
在这里插入图片描述

今天你学了啥
关注
专栏目录
干货！假新闻检测：观察新闻本身，更要观察它所在的新闻环境
AITIME_HY的博客
04-27 4244
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！社交媒体虚假新闻的广泛传播已经在政治、经济、健康等领域带来了严重危害。现有的检测方法往往选择推近观察（“zoom in”），通过捕捉特定行文模式、基于知识库验证内容真实性、考虑用户评论，对给定新闻的真实性做出判断。这些方法忽略了假新闻创作和传播时所处的新闻环境中蕴含的信息：为了提高影响力和破坏力，假新闻往往存在“蹭...
python3调用jenkins报401未授权问题
retime123的博客
06-18 3451
ubuntu 16.04系统 安装的包python-jenkins，用的是目前最新的1.7.0（1.5~1.6页试过）： import jenkins server = jenkins.Jenkins(JENKINS_MIMETUS_SERVER_URL, username=JENKINS_MIMETUS_USERNAME, password=JENKINS_MIMETUS_PASSWORD) # 调用方法 server.get_running_builds() # 报错： Traceback
【Diffusers 报错解决】401 Client Error, 404 Client Error, OSError: models/image_encoder is not a local
weixin_44212848的博客
04-16 850
解决 OSError
Zoom Out and Observe：News Environment Perception for Fake News Detection
weixin_42200279的博客
06-14 732
ACL 2022 论文笔记
lm-eval出现401 Client Error Unauthorized for url情况
sureboom的博客
04-08 2498
这里是因为我查了很多网站上，发现中文网站没有写这个的，偏巧自己遇到这个问题了，根据这个想到了解决办法。之后命令行输入export HF_TOKEN=xxxx（自己去hf网上申请一个就行了）先更新pip install --upgrade huggingface hub。
解密HTTP错误码401 Unauthorized：探索身份验证的奥秘
热门推荐
博客
08-15 1万+
HTTP身份验证是Web应用程序中常用的一种安全机制，用于验证用户的身份并控制对资源的访问。它通过在客户端和服务器之间传递身份验证凭证来完成身份验证过程。摘要身份验证是一种更安全的身份验证方法。它使用摘要算法对用户名、密码和其他参数进行加密，以确保身份验证凭证的安全性。HTTP错误码401 Unauthorized是一种常见的错误码，表示客户端请求未经身份验证或身份验证失败。
Observe:网站扫描工具
05-19
《深入理解Observe：网站扫描工具的PHP实现与应用》 在网络安全日益重要的今天，网站扫描工具成为评估和保护网站安全的重要手段。Observe是一款专为此目的设计的工具，它能够帮助用户收集从网站主页获取的观察数据...
Perturb and Observe MPPT boost converter:Perturb and Observe MPPT control dc-dc boost converter-matlab开发
05-29
使用 Perturb 和 Observe 跟踪 PV 馈电 DC-DC 升压转换器的最大功率。 在没有储能的情况下，转换器负载功率应与从光伏电池板提取的功率相匹配。 在负载/功率不匹配的情况下，转换器电压不受调节。
observe:@observe是Python装饰器
03-18
@observe是Python方法的修饰符，它使Python开发人员可以收集有关修饰后的方法的所有基本指标，生成统一的日志和关于失败的易于通知的通知。 日志，指标和通知 所有日志，指标和通知均分为三类： 默认值：未引发...
ecmascript-object-observe:ECMAScript Object.observe规范
05-09
ecmascript-object-observe ECMAScript Object.observe规范建议 可读规范位于 。 此规范提案使用来生成HTML运行 npm install -g ecmarkdown mkdir out ecmarkdown spec/index.html out/index.html cp css/elements...
react-observe:即将推出的 React Observe API 的完整 polyfill
06-03
即将推出的 React Observe API 的完整 polyfill 不是高阶组件，不是 mixin 还有其他用于 Observe API 的 polyfill。 这个从他们那里得到了很多灵感，但它的工作方式有点不同。 您可以像使用高阶组件一样使用它。 ...
Pywinrm 连接访问 401 错误
Rao的博客
01-25 1199
使用 pywinrm 操作 windows 远程运行命令 使用 winrs 测试确认结果正确返回，使用 代码则失败 代码如下, 安装使用 pip install pywinrm ，导入使用 import winrm import winrm ip = "1.1.1.1" user = r"xha\sss" password = "se123" s = winrm.Session(ip, auth=(user, password)) r = s.run_command("ifconfig") prin
Hugging face 模型微调学习：T5-base的微调
张某文_Lambda的博客
02-24 8588
Hugging face 在 github上开源了一个Transformers库，允许用户上传和下载的预训练的模型，并进行原有模型的基础上进行微调。如此，使得每个 NLPer 必须依靠大量美金才能训练出来的预训练模型，可以轻易的在huggingface网站对自己的数据集上进行微调，并达到很好的效果。这篇文章介绍了自己在探索Hugging face 模型微调的操作过程，希望能帮助到大家。
无法访问https://huggingface.co
weixin_46538207的博客
01-24 1062
问题解决方法在评论区。
Python request访问401错误与权限验证
肖永威的专栏
02-25 3277
在使用Python requests接口访问开发的过程中，遇到401错误，跟踪原因是 Unauthorized ，这个错误通常意味着我在尝试访问某个资源时侯，没有提供正确的身份验证信息，或者你的身份验证信息已经过期。
python requests请求方式_Python Requests库使用2：请求方法
weixin_39865952的博客
01-14 154
GitHub APIHTTP verbsWhere possible, API v3 strives to use appropriate HTTP verbs for each action.VerbDescriptionHEADCan be issued against any resource to get just the HTTP header info. 仅获取HTTP响应头信息。GE...
Requests快速上手
小白_努力
08-29 338
发送请求 使用requests发送网络请求非常简单，一开始需要导入requests模块： import requests 然后，尝试获取某个网页。举个例子，我们来获取Github的公共时间线： r = requests.get('https://api.github.com/events') 现在，我们有了一个命名为r的Response对象，我们可以从这个对象中获取所有我们想要的信息...
Python 学习——Python requests 库文档
愿青春不负梦想
03-11 1489
如果你改变了编码，每当你访问 r.text ，Request 都将会使用 r.encoding 的新值。如果你创建了自己的编码，并使用 codecs 模块进行注册，你就可以轻松地使用这个解码器名称作为 r.encoding 的值， 然后由 Requests 来为你处理编码。接收者可以合并多个相同名称的 header 栏位，把它们合为一个 “field-name: field-value” 配对，将每个后续的栏位值依次追加到合并的栏位值中，用逗号隔开即可，这样做不会改变信息的语义。
基于深度学习的多模态信息检索
最新发布
weixin_42605076的博客
09-13 1319
基于深度学习的多模态信息检索技术，通过多模态特征的提取、融合和匹配，实现了从多种数据模态中进行高效检索的能力。随着深度学习技术的不断进步，特别是注意力机制和变换器架构的应用，多模态信息检索将在多个领域展现出更广泛的应用前景和潜力。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值