- 博客(2)
- 收藏
- 关注
RSS订阅原创 【小白教程】ARC a750本地运行glm-4-9b
GPU整体速度比CPU快不少，int4量化优化效果很明显，但win10任务管理器性能显示GPU占用还是不高，a750显卡驱动显示GPU活动80%左右，看起来是系统识别显卡活动不太准。打开modelscope网站：https://www.modelscope.cn/models/ZhipuAI/glm-4-9b-chat-1m/files。放到这里D:\AI\openvino-LLM\glm-4-9b-chat-1m，也可以根据自己情况更改路径。看起来比int4-GPU要慢，但是CPU活动没有占满。
2024-09-11 10:56:01
343
原创 【小白教程】ARC a750本地运行TinyLlama（LLM大语言模型）生成式AI
【小白教程】ARC a750本地运行TinyLlama（LLM大语言模型）生成式AI
2024-09-07 10:29:59
704
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人