![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型部署
文章平均质量分 88
原野AI
曾就职于搜索、推荐和NLP方向,正在探索数据挖掘、大模型算法在传统业务的应用。
展开
-
Mac本地部署大模型-单机运行
在macbook上单机部署运行测试大模型,使用ollama运行阿里通义千问Qwen2.0低参数版本大模型,并给出性能对比。原创 2024-07-04 01:58:47 · 1127 阅读 · 0 评论 -
Potato(土豆)一款轻量级的开源文本标注工具(二)
四个重要评估维度。相关性(relevance):摘要包含的信息是否为文中重要信息。一致性(consistency):摘要是否有事实性错误。本文关注的忠实度(faithfulness)也和一致性较为相关。流畅性(fluency):摘要中的单个句子是否通顺。连贯性(coherence):摘要整体是否行文流畅连贯。参考:【NLP学习】如何评估文本摘要模型的忠实度(faithfulness)原创 2024-06-27 19:13:14 · 904 阅读 · 0 评论 -
Potato(土豆)一款轻量级的开源文本标注工具(一)
Potato 是一款被EMNLP 2022 DEMO赛道接受的轻量级、可移植的Web文本标注工具。本文介绍了工具如何安装,以及结合实例如果使用它开展文本标注。原创 2024-06-27 13:59:17 · 1123 阅读 · 0 评论 -
rapidocr-onnxruntime库及在open-webui上传PDF 图像处理 (使用 OCR)应用
rapidocr-onnxruntime是一个跨平台的OCR库,基于ONNXRuntime推理框架。重点介绍在open-webui中,如何安装和使用该库支持PDF图像处理(使用OCR)。原创 2024-06-25 17:21:32 · 1246 阅读 · 0 评论 -
Open WebUI升级到最新版本
open-webui是一个用于构建Web用户界面的开源库,它仿照 ChatGPT 的图形化界面,可以非常方便的调试、调用本地大语言模型。目前该开源库更新较为活跃,从3个月前的版本(v0.1.108)到截止到2024年6月中旬发布的最新版本V0.3.5,经历了约20个版本的快速迭代和升级。每次的迭代快速响应和修复了前面版本反馈的问题,使得新的版本在功能和稳定性上更加强大。原创 2024-06-25 13:57:25 · 824 阅读 · 0 评论 -
Open WebUI – 本地化部署大模型仿照 ChatGPT用户界面
Open WebUI 是一个仿照 ChatGPT 界面,为本地大语言模型提供图形化界面的开源项目,可以非常方便的调试、调用本地模型。你能用它连接你在本地的大语言模型(包括 Ollama 和 OpenAI 兼容的 API),也支持远程服务器。本文给出了具体操作实践,给出了遇到的问题及解决方案。原创 2024-06-21 01:15:53 · 1844 阅读 · 2 评论 -
linux安装conda环境实践
本文介绍了conda在linux环境安装操作实践,以及conda系统路径设置,创建虚拟环境过程。原创 2024-06-21 00:07:42 · 1079 阅读 · 0 评论 -
常用镜像资源总结
访问国外官方源时,由于网络延迟和潜在的网络拥堵,可能会导致下载速度较慢,甚至下载失败。使用国内镜像源可以大幅度提高下载速度,并且由于地理位置的接近,网络稳定性也更高。另外,由于某些政策或网络审查的原因,直接访问国外官方源可能会受到限制或阻碍。国内镜像源可以作为一个替代方案,为用户提供更加顺畅的访问体验。原创 2024-06-17 23:34:13 · 982 阅读 · 0 评论 -
ollama运行qwen2出错Error: llama runner process has terminated: signal: aborted (core dumped) ,已解决
做格式转换时,使用的较高版本的llama.cpp库,而我们使用的版本偏低,导致不兼容。在网上查找资料,该种情况的原因是:qwen2的这些模型,在使用。升级后,版本:ollama version is 0.1.42。进入到ollama官网,选择重新下载安装即可。原创 2024-06-11 18:24:30 · 2072 阅读 · 0 评论 -
Linux纯CPU环境部署运行大模型实践
介绍在单台linux系统电脑,纯CPU运行环境下部署运行大模型的三种方式,基于ollama工具,lame.cpp工具和transformers方式加载运行。总体来说,三种方式都较为方便,并且在资源和性能平衡上给出建议,非常适合初学者上手实践。原创 2024-06-06 13:08:56 · 1308 阅读 · 0 评论 -
区分LLaMA、llama.cpp和Ollama
大模型本地部署遇到的三个概念,llama,ollama,llama.cpp。简单区分如下:llama 是一个Meta公司开源的预训练大型语言模型,llama.cpp用于加载和运行 LLaMA 语言模型。ollama是大模型运行框架,它利用了 llama.cpp 提供的底层功能。原创 2024-06-05 11:31:37 · 1444 阅读 · 0 评论