最近试试Stable diffusion、RVC克隆和本地部署llama3.1,结果我这个破GTX1650显卡,生成个图半个小时,只能部署8B,还是int4版本的。然后就上网看云算力平台,发现个价格承担得起,性价比蛮高的网站FunHPC,通过学生认证的话可以免费给用P4显卡,当然一次只给用24小时。打算后面弄清楚怎么用了,弄个p40试试。
就是本地往上传数据会比较慢,如果能内置一些高速的下载工具就好了,现在文档里的传输方案,速度才300kb/s。
期待有一天可以自己做一个云端更先进的专读论文的chatpdf,融合多模态大模型。