![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 63
一个java开发
这个作者很懒,什么都没留下…
展开
-
LLAMA3==shenzhi-wang/Llama3-8B-Chinese-Chat。windows安装不使用ollama
非常慢,大概用了一两分钟回答一个问题。还是老实用ollama跑qwen吧。原创 2024-05-29 21:45:23 · 692 阅读 · 0 评论 -
ollama+anythingllm==构建本地知识库
测试下文本问答,可以看到走的GPU,并且可以在ollama服务端看到了来自anythingllm的请求日志。安装完成后打开,输入ollma服务器的地址,然后可以选择使用ollama中的哪个模型。然后再问,可以发现这下准了,所以准确度还是对投入的文档有一定的准确度要求的。此时模型会被自动下载到环境变量配置的地址,并且启动一个对话界面。配置ollama环境变量,调整模型存放的位置。自己写手写个TXT吧,我在TXT里写的内容为。右下角退出ollama程序,然后再次启动。安装ollama,自动安装到C盘。原创 2024-05-06 14:06:11 · 2135 阅读 · 3 评论 -
langchain==win11搭建使用GPU
然后查看项目的requirements.txt和requirements_api.txt,发现里面用的是。修改代码中的configs目录下的所有文件,去掉后缀的example。最后的cu121代码这cuda是12.1。然后修改model_config.py。可以发现问问题的时候GPU直接拉满了。可以从日志中看到分别使用了什么模型。因为是基于GPU,所以修改为。真的慢,所有文件全部下载下来。官网下载,然后安装即可。我这安装的是12.1。原创 2024-02-13 19:56:58 · 1264 阅读 · 0 评论 -
chatglm3-6b使用
源码地址创建环境修改源码中依赖,使得使用cuda,否则太慢了最后的cu121代码这cuda是12.1修改依赖文件中关于torch的为安装。原创 2024-02-13 21:19:16 · 587 阅读 · 0 评论