大模型学习-使用ollama将大模型部署在java项目中

已于 2024-10-26 18:56:12 修改
阅读量3.2k 收藏 34
点赞数 23
分类专栏： 大模型学习 JavaWeb 文章标签： spring boot llama
于 2024-10-26 18:46:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74462339/article/details/143254043
版权

目录

最初的尝试

升级springboot

依赖项调整

配置调整

代码调整

引入ollama依赖

配置ollama

编写测试Controller

测试

最初的尝试

在刚开始，我选择直接引入ollama依赖：

但是，当我引入依赖后发现，项目中无法使用该依赖的东西，即使maven中显示已经有了这个依赖：

于是，我查阅了相关资料，得知：springboot版本需要为3.x才能使用ollama的依赖，而我的项目的springboot版本为2.7.12

所以，我又尝试升级springboot的版本，直接更改了版本号：

启动项目后，仍然报错：

 将该错误信息交给gpt，它的回答是：

即使我将配置类都注释掉，还是有这个问题。

就这样，我在这个问题上逗留了一下午。

最后，在我一筹莫展之际，终于发现了问题所在。将springboot从2.x版本升级到3.x版本并不仅仅是改版本号这么简单，对应的一些依赖、配置甚至是一些代码都需要做调整。

接下来，我将介绍升级springboot、部署ollama的整个过程

升级springboot

 首先需要修改版本号

最低0.47元/天 解锁文章
大模型管理工具Ollama搭建及整合springboot
congge_study的博客
06-01 1万+
Ollama搭建与部署使用
浅谈人工智能之Java调用基于Ollama本地大模型
测试人，测试魂
09-18 7537
通过上述步骤，你可以在Java应用程序中无缝集成基于Ollama的本地大型语言模型，为你的项目增添强大的自然语言处理能力。随着Ollama及其支持的模型不断更新，持续探索和优化模型调用策略，将能进一步提升应用性能和用户体验。
SpringBoot快速接入OpenAI大模型（JDK8）
qq_35650513的博客
09-12 5627
AI4J是一款JavaSDK用于快速接入AI大模型应用，整合多平台大模型，如OpenAi、智谱Zhipu(ChatGLM)、深度求索DeepSeek、月之暗面Moonshot(Kimi)、腾讯混元Hunyuan、零一万物(01)等等，提供统一的输入输出(对齐OpenAi)消除差异化，优化函数调用(Tool Call)，优化RAG调用、支持向量数据库(Pinecone)，并且支持JDK1.8，为用户提供快速整合AI的能力。
保姆级！使用Ollama本地部署DeepSeek-R1大模型 并java通过api 调用
不会吉他的肌肉男不是好的挨踢男的专栏
02-20 1765
环境变量还有很多 网上有很多 可自行搜索为什么需要配置OLLAMA_HOST及OLLAMA_ORIGINS？突破本地限制：局域网访问默认情况下，Ollama仅监听127.0.0.1:11434，仅允许本机访问。通过设置OLLAMA_HOST=0.0.0.0:端口号，可将服务绑定到所有网络接口，实现局域网内多设备共享模型资源。解决跨域问题：Web UI集成浏览器安全策略会阻止跨域请求，例如使用Open WebUI或LobeChat等前端工具时。
Java + Ollama：点燃机器学习应用的“引擎
JAVA高级架构
03-24 966
Java作为一种广泛使用的编程语言，拥有强大的生态系统和丰富的库支持，使其成为构建机器学习应用的理想选择。而Ollama（Open Learning Model Architecture）作为一种新兴的机器学习框架，提供了高效、灵活的模型构建和训练能力。通过Ollama的简洁API和强大功能，Java开发者可以轻松地构建、优化和部署机器学习模型。接下来，我们将使用Ollama构建一个简单的分类模型。随着人工智能和机器学习的快速发展，越来越多的开发者开始探索如何将机器学习模型集成到现有的应用程序中。
使用Java也能开发大模型应用？让我们一探究竟
luxinfeng的博客
06-02 3027
有时候，在开发应用时，需要使用大模型或其他AIGC技术，常常需要调用Python服务提供的接口。但是，有些时候，可能功能比较简单轻量，再新建一个Python服务提供接口调用感觉有些过于复杂。因此，我想尝试在Java中实现一些简单的AIGC技术场景。
Ollama 已部署DeepSeek模型，如果用Java语言实现调用
meisongqing的博客
03-07 1667
String result = client.generate("deepseek", "解释量子纠缠", 0.8, 1000);System.err.println("JSON 解析错误: " + e.getMessage());System.out.println("模型回复：\n" + response);System.err.println("网络错误: " + e.getMessage());-- 使用最新版本 -->System.out.println("收到片段: " + line);
Ollama4j：Java中驾驭Ollama服务器的捷径
gitblog_00448的博客
08-16 1164
Ollama4j：Java中驾驭Ollama服务器的捷径 ollama4jJava library for interacting with Ollama server.项目地址:https://gitcode.com/gh_mirrors/ol/ollama4j 项目介绍 Ollama4j 是一个专为Java开发者设计的库，旨在简化与Ollama服务的集成过程。由Amith Koujalgi打...
Java集成openai,ollama,千帆,通义千问实现文本聊天
weixin_51918722的博客
07-05 2872
Java集成Ollama, Open ai, 千帆, 通义千问
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
在当前的IT行业中，大模型部署是人工智能领域的一项关键技术，特别是在深度学习和自然语言处理（NLP）的应用中。OpenVINO（Open Visualization Inference and Neural Network Optimization）是由Intel开发的一个工具...
全民上手大模型--ollama+langchain+通义千问零费用java+python跑通本机大模型
敏叔
04-25 4928
写本篇文章是因为我经历过了各种付费+测试之后很艰难想入手大模型，国内的同学学技术还是太困难了，但是看到市面上各种火爆，实在有按捺不住想体验,终于迎来了一个契机。在此之前，应该大家都了解OpenAPI，确实强大，但是国内用户来说，有以下问题：一、网络不通，这里还不是简单的翻墙的问题，是他的网站都不对中国大陆开放，政治因素就不谈了二、贵这玩意其实是按调用次数收费的，厉害点的功能其实都要收费，还是美元三、其实中文方面还是没有那么强了。
Agents-Flex： 一个基于 Java 的 LLM（大语言模型）应用开发框架
12-03
在当今的信息时代，人工智能技术的发展已经渗透到我们生活的方方面面，其中大语言模型（LLM）是人工智能领域的一项重要技术，它在自然语言处理中扮演着核心角色。随着技术的不断进步，越来越多的开发者开始寻求更加...
Java开发者也能看懂的大模型应用开发实践！！！
2401_85379281的博客
06-13 2845
做AI大模型应用的开发其实Java也能写，那么本文就一个Java开发者的立场，构建实现一个最基础的大模型应用系统。让大模型理解文本(知识库)内容，基于知识库范围内的内容进行回答对话而基于知识库的回答会帮助我们解决哪些问题呢？✅ **节省大模型训练成本：**我们知道ChatGPT的知识内容停留在2021年，最新的知识它并不知道，而检索增强生成则可以解决大模型无法快速学习的问题，训练大模型代价是非常昂贵的，不仅仅只是金钱，还包括时间，随着模型的参数大小成本成正相关。
推荐开源项目：Ollama4j - Java版Ollama服务器绑定库
gitblog_00013的博客
06-15 770
推荐开源项目：Ollama4j - Java版Ollama服务器绑定库 项目地址:https://gitcode.com/gh_mirrors/ol/ollama4j 项目简介 如果你正在寻找一个能够帮助你在Java项目中轻松接入并利用Ollama服务的工具，那么Ollama4j绝对值得你一试。这个开源项目是由Amith Koujalgi创建的一个Java库，它作为一个包装器或绑定库，使开发者可以...
DeepSeek-R1本地化部署 java调用 图文教程（Ollama+Docker+OpenWebUI）
hugejiletuhugejiltu的博客
02-14 1970
DeepSeek-R1 是幻方量化旗下大模型公司 DeepSeek 研发的系列推理模型，以下是关于它的简介：2024 年 11 月 20 日：DeepSeek-R1-Lite 预览版正式上线网页端，仅支持网页使用，暂不支持 API 调用。 2025 年 1 月 20 日：DeepSeek 正式发布 DeepSeek-R1 模型，并同步开源模型权重。 2025 年 1 月 24 日：在 Arena 上，DeepSeek-R1 基准测试升至全类别大模型第三，在风格控制类模型分类中与 OpenAI o1 并列第一
ollma 本地部署大模型
Wolf_xujie的博客
08-25 2772
因为我本地是 windows 的系统，所以这里直接写的是通过 docker 来实现本地大模型的部署。windows 下 WSl 的安装这里就不做重复，详见。
Ollama完整教程：本地LLM管理、WebUI对话、Python/Java客户端API应用
热门推荐
老牛啊
07-10 1万+
Ollama可以非常方便的管理和部署我们本地大语言模型，老牛同学希望通过本文对Ollama进行一次详细介绍，包括本地大模型管理和使用、WebUI对话界面部署、通过Python和Java使用Ollama的API接口等……
使用ollama部署大模型怎么样
最新发布
04-10
<think>嗯，用户问的是如何使用Ollama部署大模型，以及相关的教程和最佳实践。首先，我需要确认用户的需求。他们可能已经对Ollama有基本的了解，但需要具体的步骤指导。根据提供的引用，Ollama是一个简化本地部署大模型的工具，用户可以通过几条命令运行如Llama 2这样的模型。 首先，我需要整理安装步骤。用户可能是在不同的操作系统上使用，所以得包括Linux/macOS和Windows的安装方法。对于Linux/macOS，使用curl命令下载安装脚本，而Windows用户可能需要访问官网下载安装包。这部分要明确，避免混淆。 接下来是基础使用部分。用户需要知道如何拉取模型，比如ollama pull llama2，然后运行它。可能还需要解释不同模型变体的区别，比如7b、13b参数版本，以及是否有聊天优化的版本。这部分需要简明扼要，让用户能够快速上手。 然后，微调模型的部分引用了用户提供的资料，使用ollama train命令，但用户可能不清楚具体的数据集格式和操作步骤。需要补充说明数据集应该是JSON文件，结构如何，可能还需要示例代码，比如生成数据集的方式。这样用户能更直观地理解如何准备数据。 高级功能部分，多模态支持可能对用户有用，但需要确认Ollama是否支持。根据引用[1]，确实提到了多模态模型支持，所以可以建议用户查阅官方文档。此外，REST API整合到Spring Boot也是一个用户可能关心的点，引用[2]提到了整合Spring Boot，所以需要提供如何调用API的示例，比如使用curl命令和Java代码示例，帮助开发者进行集成。 最佳实践部分，用户需要知道如何选择适合的模型，资源监控，版本管理和数据准备。比如根据硬件选择模型大小，使用htop或nvidia-smi监控资源，定期更新模型版本，以及确保数据质量。这些都是实际使用中常见的问题，需要给出具体建议。 最后，相关教程资源部分，官方文档、社区论坛和GitHub仓库都是重要的信息来源。需要提供链接或指引，让用户能进一步查阅。 在回答过程中，需要保持结构清晰，分步骤说明，确保用户能逐步跟随操作。同时，注意使用中文，避免专业术语过多，必要时进行解释。例如，解释“微调”是指对预训练模型进行特定任务的调整，提升性能。还要检查所有命令的正确性，比如ollama run llama2是否正确，是否需要额外参数。 可能用户还会遇到问题，比如安装失败、模型无法下载或运行错误。虽然用户没有直接提问，但在最佳实践中可以加入常见问题解决，比如网络问题或资源不足的建议。此外，引用标识要正确对应，比如引用[^1]和[^2]的来源，确保信息准确。 总结来说，回答需要涵盖安装、基础使用、微调、高级功能、最佳实践和教程资源，结构分明，步骤详细，示例实用，同时引用提供的资料来增强可信度。还要预判用户可能遇到的问题，提前给出解决方案，确保回答全面有用。</think># 如何使用Ollama部署大模型 ## 一、环境准备与安装 1. **Linux/macOS安装** ```bash curl -fsSL https://ollama.ai/install.sh | sh ``` 2. **Windows安装** 访问[Ollama官网](https://ollama.ai)下载安装包，双击执行安装程序 ## 二、基础使用 1. **拉取预训练模型** ```bash ollama pull llama2 # 下载Llama 2基础模型 ollama pull mistral # 下载Mistral开源模型 ``` 2. **运行模型交互** ```bash ollama run llama2 ``` 支持选择不同参数版本： ```bash ollama run llama2:7b # 70亿参数版本 ollama run llama2:13b # 130亿参数版本 ollama run llama2-chat # 对话优化版本 ``` ## 三、模型微调（引用[^1]） 1. **准备训练数据集** 创建JSON格式数据集文件： ```json [ {"input": "什么是机器学习", "output": "机器学习是..."}, {"input": "解释神经网络", "output": "神经网络是..."} ] ``` 2. **执行微调训练** ```bash ollama train my_custom_model --dataset ./training_data.json ``` ## 四、高级功能 1. **多模态支持** 支持图像+文本联合输入： ```bash ollama run llava # 多模态模型示例 ``` 2. **API集成（引用[^2]）** Spring Boot集成示例： ```java // 调用Ollama API RestTemplate restTemplate = new RestTemplate(); String response = restTemplate.postForObject( "http://localhost:11434/api/generate", new RequestBody("为什么天空是蓝色的"), String.class ); ``` ## 五、最佳实践 1. **硬件适配建议** - 8GB内存设备：使用<=7B参数模型 - 16GB内存设备：可运行13B参数模型 - GPU加速：安装NVIDIA驱动+CUDA工具包 2. **性能优化技巧** ```bash ollama run llama2 --num-gpu-layers 32 # GPU加速层数设置 ollama run mistral --temperature 0.7 # 输出随机性控制 ``` 3. **运维管理** - 监控资源使用：`watch -n 1 ollama stats` - 模型版本管理： ```bash ollama list # 查看已安装模型 ollama rm llama2 # 删除旧版本 ``` ## 六、教程资源 1. 官方文档：https://ollama.ai/docs 2. 社区论坛：https://github.com/ollama/ollama/discussions 3. 示例项目库：https://github.com/ollama/workshops
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值