背景
论文:Knowing More About Questions Can Help: Improving Calibration in Question Answering
地址:https://github.com/szhang42/Calibration_qa
过程
真就泪目了,装那个apex装了2天,期间遇到了各种各样的bug,有好多莫名其妙的bug
莫名其妙之bug1
远程连接服务器使用的是MobaXterm,然后使用conda和pip交叉安装环境,优先推荐conda安装,因为它会考虑版本信息这些,突然我直接在窗口上使用python命令进入python环境,发现死活啥都装不上了! 然后折腾了一会发现conda安装的东西在这个python环境里竟然import不了,太尼玛奇怪了,明明conda激活的是这个环境,但是就是引入不了,后面折腾了一会发现,不管你activate那个环境,你python进入的都是base环境,,,,这尼玛太奇怪了,然后把这个窗口关掉重新打开一个发现又可以使用了。。。 -_-||,这太尼玛奇怪了
莫名其妙之bug2
使用conda安装torch,你会发现死活找不到,,,没错你要安装pytorch不能安装torch,也就是conda install pytorch,而不能conda install torch,并且你安装pytorch的时候还要加上-c conda-forge,原因就是channel不同,所以下次使用conda安装啥的时候发现找不到包了,别慌,直接在搜索引擎上搜索conda install xxx 这个时候别人会告诉你怎么安装
莫名其妙之bug3
不知道是服务器原因还是啥原因,有时会发现你不管使用pip还是conda,安装某些东西都安装不了!!!,它报错都是说网络错误HTTPERROR啥的,这个时候别慌,如果你conda或者pip使用了国内代理,那么直接把国内源删了,再试试,如果还是没用,直接换个国内源,这个时候一般都好使
莫名其妙之bug4
这个代码里面要使用这个东西pytorch_pretrained_bert,你要使用里面的模型的时候是要下载的,这个时候你会发现,报网络错误443,别急这个时候直接debug看源码,看它从哪里下载的包,手动下载下来,这个没办法,只能这样,比如我下面这个
莫名其妙之bug5
apex报错太多了,反正死活用不了!!!!!最终解决就是靠下面这个东西
参考博客:https://blog.csdn.net/qq_22565865/article/details/107532012
以及博客:https://blog.csdn.net/iteapoy/article/details/117389407
总结
总的来说,就是
1、安装依赖的时候,优先考虑conda之后不行再使用pip
2、当跑程序的时候发现要下载什么依赖包,发现很慢,直接debug进去看看它是怎么用的,用的什么网址,自己手动下载
3、多用bing搜索,google也可以,百度也行,一般就是优先考虑bing然后是google最后是baidu,有时候搜索中文的时候还是baidu好使的
更新–2022.10.18
建议别跑这个论文的实验,这代码狗见了都得摇摇头,训练里面的calibrator的时候数据不提供,而且里面的很多实验的指令也没提供,github问issue也不回,建议跑它follow的paper的代码,环境和这个的应该差不多:https://worksheets.codalab.org/worksheets/0xea5a522788f743acb4fbf9e60065be8f