DeepPersonality框架使用记录
github地址:https://github.com/liaorongfan/DeepPersonality
提供的处理好的小样本数据集1.5G,我下不下来,所以按照作者给的另一个文档自己做处理
文档地址:https://colab.research.google.com/drive/1_YThB_O1nO4y9zK6AHOUEx-a2zb_ba9y?usp=sharing#scrollTo=kmTcOCDFA2w8
分别在autoDL平台(ubuntu)和西电的高算平台(centos)进行实验
首先是 pip install -r requirements.txt ,按照作者给的版本1.9.0的torch算力的极限是70,后续我在运行的过程中遇到了版本太低,需要升级pytorch,因为使用的3080的算力是85,然后我按照下面的版本重新安装。
torch1.11.0
torchvision0.12.0
torchaudio==0.11.0
然后下载数据集后放到/dataset文件夹下,执行Visual data processing部分命令,一般不会出错
到了Audio data processing这一步会遇到librosa和ffmpeg问题
对于ubuntu,可以看这个链接ffmpeg
对于librosa:我遇到问题如下
OSError: sndfile library not found
File "/home/22031212217/.conda/envs/DeepPersonality_main/lib/python3.8/site-packages/librosa/core/audio.py", line 8, in <module>
import soundfile as sf
File "/home/22031212217/.conda/envs/DeepPersonality_main/lib/python3.8/site-packages/soundfile.py", line 189, in <module>
_snd = _ffi.dlopen(_libname)
OSError: cannot load library 'libsndfile.so': libsndfile.so: cannot open shared object file: No such file or directory
解决方案:先updata一下,然后apt-get install libsndfile1 即可
但是在centos上一直没成功,因为西电高算平台不支持yum软件安装,目前看到可能有用的方法:
https://zhuanlan.zhihu.com/p/559818170
执行conda install -c roebel pysndfile命令,报错
```bash
CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://conda.anaconda.org/roebel/linux-64/current_repodata.json>
Elapsed: -
An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.
'https://conda.anaconda.org/roebel/linux-64'
这个库有类似的其实应该是可以直接yum安装的,但是因为我是学校的高算平台不支持yum,因此最后找到的方法是conda install -c roebel pysndfile,这个pysndfile在pip也有,在国内的conda源里面没有,anaconda.org里面有
先尝试执行conda install -c roebel pysndfile
报错CondaHTTPError: HTTP 000 CONNECTION FAILED for url ,但是查看源conda config --show-sources,已经是默认国内源,猜测应该是因为国内源没有这个库,所以去国外源下,但是学习平台不能翻墙所以报错,那就再试试下源码包
下下来之后解压,没有可编译文件,放弃,再去试试pip
执行pip install pysndfile,报错ERROR: Failed building wheel for pysndfile,又尝试自己下载tar.gz包进行安装,同样问题的报错
最后没解决这个问题
又尝试使用全程使用conda安装,报错ImportError: libffi.so.7: cannot open shared object file: No such file or directory
网上解决办法是https://www.jianshu.com/p/20e92799504d,但是需要管理员权限执行命令,参考https://blog.csdn.net/duguwanglong/article/details/107662421 ,位置应该在自己家目录安装conda 虚拟环境位置下面
我系统里是so.8文件,软连接上去还是报错