Ollama 运行视觉语言模型LLaVA

最新推荐文章于 2025-02-13 23:12:39 发布
最新推荐文章于 2025-02-13 23:12:39 发布
阅读量1.7k 收藏 11
点赞数 5
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shebao3333/article/details/142711740
版权

Ollama的LLaVA（大型语言和视觉助手）模型集已更新至 1.6 版，支持：

  • 更高的图像分辨率：支持高达 4 倍的像素，使模型能够掌握更多细节。
  • 改进的文本识别和推理能力：在附加文档、图表和图表数据集上进行训练。
  • 更宽松的许可证：通过 Apache 2.0 许可证或 LLaMA 2 社区许可证分发。

这些模型有三种参数大小。7B、13B 和新的 34B 模型：

  • ollama run llava:7b
  • ollama run llava:13b
  • ollama run llava:34b

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 

最低0.47元/天 解锁文章
ollama 多模态llava图像识别理解模型使用
weixin_42357472的博客
06-15 5145
参考： https://llava-vl.github.io/ https://ollama.com/blog/vision-models https://blog.csdn.net/weixin_42357472/article/details/137666022 图片地址前面空格就行
玩转大语言模型——langchain调用ollama视觉多模态语言模型
艾醒的博客
01-11 1968
视觉多模态语音模型由预训练的多模态编码器、预训练的 LLM 以及连接两者的多模态接口等主要组件构成。将图像信息转换为可被语言模型处理的特征表示。拥有强大的视觉理解能力，能够准确理解图像内容，进行图像描述、视觉问答、图像定位等任务。可以与用户进行多轮交互，根据用户的文本和图像输入生成连贯、准确且有针对性的回答。本篇文章将介绍使用langchain调用ollama视觉多模态语音模型。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2537
TensorFlow相关组件的安装
多模态本地部署和ollama部署Llama-Vision实现视觉问答
最新发布
weixin_41688410的博客
02-13 1987
Llama 3.2 Vision是Meta公司推出的一款多模态大型语言模型（LLM），它支持文本和图像输入，并能够针对不同应用场景输出文本结果。该模型具备处理手写识别、光学字符识别（OCR）、图表和表格解释以及图像问答等功能。
在Ollama中使用Llama3.2视觉模型-使用DeepSeekCoder工具
tpriwwq的专栏
11-16 4225
2024年11月6日，Ollama发布了0.4版本，新增支持在本地加载和运行Llama3.2视觉模型，包括11B和90B两个大小的版本。
Ollama 0.4 版本发布，支持 Llama 3.2 Vision 视觉模型，实测满足个人使用
机器学习与系统
11-07 1517
更新信息最大的更新莫过于对 Llama 3.2 Vision 视觉模型的支持！ollama 的版本也因此从v0.3.14直接升级到v0.4.0。升级 ollama 后，运行如下命令体验#默认运行11B大小模型 ollamarunllama3.2-vision #运行90B大小模型，需要显存支持 ollamarunllama3.2-vision:90b支持 Llama 3.2 V...
Ollama 0.4 发布！支持 Llama 3.2 Vision，实现多模态 RAG
Everly_的博客
11-10 5409
最近，Ollama 推出了 0.4 版本，其中最大的亮点就是支持了 模型，该模型具备多模态特性，也就是说能够理解图像并将图像纳入提示词中进行处理，让模型更智能地处理RAG中的数据源，实现强大的视觉处理功能，例如：手写识别，准确读取手写内容；OCR识别，识别订单、账单等文档；图表与表格识别，解析各类数据；图像问答，实现图片内容的问答交互。这种功能在之前的Ollama版本中是不支持的，因为Llama CPP不支持视觉模型。在本篇文章中，我们就来体验一下这个“多模态”神器。目前 Ollama 支持 11B 和
用 Ollama 轻松玩转本地大模型
m0_54050778的博客
12-28 1万+
而作为价值约 8 美元/月的 Raycast AI 的平替，Raycast Ollama 实现了 Raycast AI 的绝大多数功能，且随着 Ollama 及开源模型的迭代，还将支持多模态等 Raycast AI 不支持的功能，可谓潜力无限。以 4-bit 量化为例，其将原本 FP16 精度的权重参数压缩为 4 位整数精度，使模型权重体积和推理所需显存均大幅减小，仅需 FP16 的 1/4 至 1/3，意味着约 4GB 显存即可启动 7B 模型的推理（当然实际显存需求会随着上下文内容叠加而不断增大）。
基于Windows部署Ollama本地运行大模型
weixin_44390344的博客
06-24 1344
在Windows平台，部署Ollama，本地运行大模型，并可通过OpenWebUI网页进行对话
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 5589
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
ollama 本地部署大模型
热门推荐
03-17 5万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
大模型—Ollama 本地部署大模型，保姆级教程，收藏这一篇就够！
2401_85375298的博客
01-02 1万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
Ollama 导入自定义模型
偶尔记一下 - mybatis.io
04-03 8485
在前面 Spring AI 使用本地 Ollama Embeddings 中查找 Embedding 模型的时候，首先看到了 mofanke/dmeta-embedding-zh 模型，这才发现 Ollama 中除了官方模型外还有用户自己上传的其他模型，搜索 dmeta-embedding-zh 找到了抱脸网上的对应模型：https://huggingface.co/DMetaSoul/Dmeta-embedding-zh模型介绍有 MTEB Chinese list 评分排名，打开该地址可以看到排名：
Ollama 更新！手把手教你用Ollama轻松搭建Llama 3.2 Vision + 视觉RAG系统（本地安装）
python12345678_的博客
11-25 1131
Ollama 现在正式支持 Llama 3.2 视觉模型（Llama 3.2 Vision）。你看就像这样拖进去就可以识别图片了。▲ 来源 | Prompt Engineering你可以看到该模型有11B参数版和90B参数版。选择90B参数版时，文件大小约为55GB。当然还有一些量化的版本。Llama 3.2 Vision 11B 至少需要 8GB VRAM，而 90B 型号至少需要 64 GB VRAM。
大模型工具Ollama 应用千问和llama3模型
Kally_tao的专栏
04-29 8833
官网：https://ollama.com/1> Ollama是一个用于部署和运行各种开源大模型的工具；【支持78种模型】2> 它能够帮助用户快速在本地运行各种大模型，极大地简化了大模型在本地运行的过程。用户通过执行几条命令就能在本地运行开源大模型，如Llama 2等；3> 综上，Ollama是一个大模型部署运行工具，在该工具里面可以部署运行各种大模型，方便开发者在本地搭建一套大模型运行环境；
Ollama-OCR：利用视觉语言模型从图像中提取文本
12-23 1779
Ollama-OCR利用视觉语言模型从图像中提取文本。本文将介绍 Ollama-OCR 的关键特点、安装方法、快速开始指南以及输出格式的详细信息。需安装:ollama https://ollama.com/download。
Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？
z551646的博客
11-13 3979
本文带大家本地跑了 Meta 最新开源的 Llama 3.2，并在票据识别任务上进行了实测。个人体验而言：Llama 系列，都得在中文指令数据上微调后，才能中文场景中使用，同等参数规模下，国产大模型其实更具性价比。如果对你有帮助，欢迎备用。
【AI学习指南】轻量级模型-用 Ollama 轻松玩转本地大模型
瑶山的博客
07-28 1709
根据 ChatGPT 的使用经验，系统提示词是很重要的。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。role为system的消息即为系统提示词。"content": "以同学的口吻简单作答。},"content": "你会游泳吗？],}'现在AI领域的进展日新月异，进步就像是从刀耕火种步入现代社会：就像是我上个月写了这篇文章，现在AI又踏上了新的征程。
AutoDL部署视觉大模型llama3.2-vision，从视频中寻找特定目标
chinagaobo的专栏
11-19 1256
AutoDL部署视觉大模型llama3.2-vision，从视频中寻找特定目标
openai调用本地ollama的llava模型进行图片推理
12-19
OpenAI的工具和服务并不直接支持调用LocalOllama的Llama模型来进行图片推理。OpenAI的主要产品如InstructGPT（之前称为通义千问）基于云端训练的大型语言模型，并不提供对特定本地模型的支持。 如果你想在本地使用像LLAMA这样的模型进行图片推理，你需要先下载并安装该模型，通常这需要模型的源代码、相关的库（如Hugging Face的Transformers）以及一个本地环境来运行模型。例如，如果你使用的是Hugging Face的ModelHub，你可以从那里下载预训练的图像分类模型，然后使用它对图片进行推理。 以下是一个简单的例子（假设你已经有了模型和图片路径）： ```python from transformers import pipeline # 加载预训练的图像分类模型 model_name = "local_ollama/llama_classifier" # 替换为你实际的模型名称 image_classifier = pipeline("image-classification", model=model_name) # 图片路径 image_path = "path_to_your_image.jpg" # 进行图片推理 result = image_classifier(image_path) print(result) # 输出模型预测的类别 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值