AI语言大模型
文章平均质量分 88
AI语言大模型一些研究和体验记录
缘友一世
我是缘友一世博主,热爱技术、热衷于分享。我的博客专注于计算机科学和软件开发领域的学习和实践经验。在博客中,你可以找到各种编程语言的深入解析和实用技巧。我致力帮助读者更好地理解和应用技术。同时,我也关注技术行业的发展趋势和前沿研究。感谢您的关注和支持!部分文章内容辅助使用gpt等人工智能编辑,如果出现错误之处,请指正
展开
-
docker本地(非公网)搭建gpt-4-all 和 GPTS 多模态对话页面(支持Chat Gpt4o「omni」)
新模型 GPT-4o,其中的「o」代表「omni」(即全面、全能的意思),这个模型同时具备文本、图片、视频和语音方面的能力。原创 2024-05-16 09:39:02 · 879 阅读 · 0 评论 -
windows使用Docker-Desktop部署lobe-chat
【代码】windows使用Docker-Desktop部署lobe-chat。原创 2024-05-12 00:08:41 · 1438 阅读 · 1 评论 -
CUDA的基础知识
矩阵乘法可以看作是若干对行和列的点积:可以在不同的 GPU 上计算独立的点积,也可以在不同的 GPU 上计算每个点积的一部分,然后相加得到结果。将模型按层分割,不同的层被分发到不同的GPU上运行。每个GPU上只有部分参数,因此每个部分的模型消耗GPU的显存成比例减少,Pytorch对于数据并行有很好的支持,数据并行也是最常用的GPU并行加速方法之一。许多现代模型(如Transformer)的计算瓶颈是将。原创 2024-04-28 22:44:06 · 707 阅读 · 0 评论 -
ollama本地部署大模型(纯CPU推理)实践
一个开源的大型语言模型服务提供类似 OpenAI 的 API 接口和聊天界面,可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。针对 LLM 用户友好的 WebUI,支持的 LLM 运行程序包括 Ollama、OpenAI 兼容的 API。原创 2024-03-31 12:13:20 · 15898 阅读 · 4 评论 -
ChatGLM3本地部署运行(入门体验级)
ChatGLM3本地部署运行(入门体验级)原创 2023-11-13 21:27:52 · 2646 阅读 · 6 评论 -
1panel中open-webui镜像下载失败问题解决
1panel中open-webui镜像下载失败问题解决原创 2024-03-30 23:27:00 · 10538 阅读 · 4 评论 -
使用1panel部署Ollama WebUI(dcoekr版)浅谈
【代码】1panel中拉取Ollama WebUI速度缓慢解决。原创 2024-03-31 00:02:30 · 2526 阅读 · 0 评论