记录一次跑实验-Knowing More About Questions Can Help: Improving Calibration in Question Answering

背景

论文：Knowing More About Questions Can Help: Improving Calibration in Question Answering
地址：https://github.com/szhang42/Calibration_qa

过程

真就泪目了，装那个apex装了2天，期间遇到了各种各样的bug，有好多莫名其妙的bug

莫名其妙之bug1

远程连接服务器使用的是MobaXterm，然后使用conda和pip交叉安装环境，优先推荐conda安装，因为它会考虑版本信息这些，突然我直接在窗口上使用python命令进入python环境，发现死活啥都装不上了！ 然后折腾了一会发现conda安装的东西在这个python环境里竟然import不了，太尼玛奇怪了，明明conda激活的是这个环境，但是就是引入不了，后面折腾了一会发现，不管你activate那个环境，你python进入的都是base环境，，，，这尼玛太奇怪了，然后把这个窗口关掉重新打开一个发现又可以使用了。。。 -_-||，这太尼玛奇怪了

莫名其妙之bug2

使用conda安装torch，你会发现死活找不到，，，没错你要安装pytorch不能安装torch，也就是conda install pytorch，而不能conda install torch，并且你安装pytorch的时候还要加上-c conda-forge，原因就是channel不同，所以下次使用conda安装啥的时候发现找不到包了，别慌，直接在搜索引擎上搜索conda install xxx 这个时候别人会告诉你怎么安装

莫名其妙之bug3

不知道是服务器原因还是啥原因，有时会发现你不管使用pip还是conda，安装某些东西都安装不了！！！，它报错都是说网络错误HTTPERROR啥的，这个时候别慌，如果你conda或者pip使用了国内代理，那么直接把国内源删了，再试试，如果还是没用，直接换个国内源，这个时候一般都好使

莫名其妙之bug4

这个代码里面要使用这个东西pytorch_pretrained_bert，你要使用里面的模型的时候是要下载的，这个时候你会发现，报网络错误443，别急这个时候直接debug看源码，看它从哪里下载的包，手动下载下来，这个没办法，只能这样，比如我下面这个

莫名其妙之bug5

apex报错太多了，反正死活用不了！！！！！最终解决就是靠下面这个东西
参考博客：https://blog.csdn.net/qq_22565865/article/details/107532012
以及博客：https://blog.csdn.net/iteapoy/article/details/117389407

总结

总的来说，就是
1、安装依赖的时候，优先考虑conda之后不行再使用pip
2、当跑程序的时候发现要下载什么依赖包，发现很慢，直接debug进去看看它是怎么用的，用的什么网址，自己手动下载
3、多用bing搜索，google也可以，百度也行，一般就是优先考虑bing然后是google最后是baidu，有时候搜索中文的时候还是baidu好使的

更新–2022.10.18

建议别跑这个论文的实验，这代码狗见了都得摇摇头，训练里面的calibrator的时候数据不提供，而且里面的很多实验的指令也没提供，github问issue也不回，建议跑它follow的paper的代码，环境和这个的应该差不多：https://worksheets.codalab.org/worksheets/0xea5a522788f743acb4fbf9e60065be8f