candle
文章平均质量分 62
fly-iot
没什么大不了,一直写代码。
展开
-
【Tauri】(4):使用Tauri1.5版本+candle框架运行大模型,前后的搭建运行成功,整合前端项目,在应用中显示。
开源的Chatgpt-web应用。关于tauri 框架。原创 2024-03-05 23:12:52 · 480 阅读 · 0 评论 -
粉丝2000 啦,选对赛道,做正确的事情,粉丝涨到2000说明大家对我做的事情还是非常的认可的,继续坚持中,将相关资料做了视频整理
【chatglm3】(1):docker本地部署,支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务。【xinference】(1):在autodl上,使用xinference部署chatglm3大模型,支持函数调用,使用openai接口调用成功!原创 2024-02-21 23:02:32 · 457 阅读 · 0 评论 -
【candle】(4):使用rsproxy安装rust环境,使用candle项目,成功运行Qwen1.5-0.5B-Chat模型,修改hf-hub代码,使用hf-mirror加快下载模型
使用 candle还是非常方便的,使用另外一种方案运行大模型。不需要 python库直接运行,速度 10 token/s。使用gpu 速度还可以,但是使用 cpu 速度就慢多了。原创 2024-02-18 21:33:59 · 768 阅读 · 0 评论 -
【candle】(3):安装rust环境,使用GPU进行加速,成功运行qwen的0.5b,4b,7b模型,搭建rust环境,配置candle,使用hf-mirror下载模型
使用 candle还是非常方便的,使用另外一种方案运行大模型。可以对模型进行加速。原创 2024-02-18 12:22:53 · 933 阅读 · 0 评论 -
【Tauri】(2):使用Tauri应用开发,使用开源的Chatgpt-web应用做前端,使用rust 的candle做后端,本地运行小模型桌面应用
同时,在Qwen-1.8B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-1.8B-Chat。本仓库为Qwen-1.8B-Chat的Int4量化模型的仓库。大规模高质量训练语料:使用超过2.2万亿tokens的数据进行预训练,包含高质量中、英、多语言、代码、数学等数据,涵盖通用及专业领域的训练语料。优秀的性能:Qwen-1.8B支持8192上下文长度,在多个中英文下游评测任务上(涵盖常识推理、代码、数学、翻译等),效果显著超越现有的相近规模开源模型,具体评测结果请详见下文。原创 2024-02-11 23:56:36 · 943 阅读 · 1 评论