LM Studio - Discover, download, and run local LLMs
LM STUDIO 是一个用户加载大模型的工具,内置了很多做好的镜像,搜索并下载就可以在本地运行。
但是它更多依赖于一个网站,https://huggingface.co/ 所以很多人无法直接使用;
软件安装很容易,但是我没有找到设置网络的地方,无法施展黑魔法,所以换种办法。
1) 更改下载配置
用everything 搜索 “cache\lm-studio”找到目录,
2)更改下载地址
用编辑器打开,我喜欢vscode
用hf-mirror.com替换https://huggingface.co/ 如下:
3)重启动软件,
点击Resume就可以了
4)手动搜索
目前还是不能搜索,打开镜像网站:TheBloke (Tom Jobbins)
在下面的Models可以搜索关键字:
5) 或者手动下载
镜像是gguf格式的,拷贝到models目录,需要手动建立2层目录,比如:
C:\Users\[替换为当前用户名字]\.cache\lm-studio\models\lmstudio-community\Unichat-llama3-Chinese
否则无法加载。
6)镜像的幻觉
我就测试了微软的一个镜像和META的 llama3,结果遇到如下了情况:
上来的开场白吓到我了。还有这骚操作……
这个LM-STUDIO确实比Ollama快,但是运行起来每次都是各种奇葩的输出,比如联通那个镜像加载后:
真是无语了。