- 博客(4)
- 收藏
- 关注
RSS订阅
3原创 使用Ubuntu在本地部署ChatGLM3-6B的详细教程
进入composite_demo模块，运行如下代码：streamlit run main.py。这样使用ubuntu在本地部署ChatGLM3-6B模型就部署好啦。显存：>= 5GB（1060 6GB,2060 6GB）推荐使用 2.0 及以上的版本，以获得最佳的推理性能。使用这种方法，下载模型需要先安装Git LFS。查看显卡配置：nvidia-smi。1.python环境。
2024-04-12 19:32:45
1197
原创 如何本地调用ChatGLM3-6B的API
"content": "小明听了老师的话，思考了一下，然后说：“老师，那我就不用功了。”老师听后笑了，告诉其他同学：“这个孩子有很强的自我管理能力，我们不需要太担心。"content": "从前有个叫小明的小学毕业生，他非常勤奋。有一天，他的老师告诉他：“小明，你这么用功，我觉得你应该好好休息。”小明回答说：“老师，我只要用功了一半，你就已经满意了。其最终的宏观效果是，在较低的温度下，我们的模型更具确定性，而在较高的温度下，则不那么确定。"content": "你好，给我讲一个故事，大概100字"
2024-04-12 18:09:12
2580
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人