Ollama本地安装qwen2.5 7B模型

已于 2025-02-01 22:05:17 修改
阅读量3.8k 收藏 57
点赞数 32
分类专栏： 大模型 文章标签： 人工智能
于 2025-02-01 21:57:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50366304/article/details/145415447
版权

1、qwen2.5 7B模型介绍

Qwen2.5-7B是通义千问团队发布的一个大型语言模型，它在18T tokens的数据集上进行了预训练，旨在提供更丰富的知识、更强的编程和数学能力。以下是关于Qwen2.5-7B的一些详细介绍：

模型概述

  • 参数量：70亿（7B）参数。

  • 数据集：基于18万亿tokens的数据进行预训练，这使得模型拥有更多的知识和改进的能力。

  • 上下文长度：支持高达128K的上下文长度，这意味着它可以处理非常长的文本序列。

  • 生成能力：可以生成最多8K的内容。

主要特点

  • 多语言支持：支持超过29种语言，包括中文、英文、法文、西班牙文、俄文、日文等。

  • 指令遵循能力：经过指令微调(Instruct-tuned)，能够更好地理解和执行特定的指令。

  • 编程与数学能力：特别是在编程和数学方面有了显著的提升，比如在HumanEval和MATH基准测试中得分较高。

  • 结构化数据理解与输出：改进了对结构化数据的理解和生成能力，例如表格数据以及JSON格式的输出。

版本类型

  • 基础版本(Base models)：不建议直接用于对话任务，但可以作为进一步训练的基础。

  • 指令微调版本(Instruction-tuned models)：专门设计来理解并执行特定指令，适用于需要对话功能的应用场景。

  • 量化版本：通过量化算法优化后的版本，降低了部署门槛，可以在资源受限的环境下运行。

部署方式

  • 可以使用Hugging Face Transformers库进行本地推理，或者使用vLLM这样的高效推理框架进行服务部署。

  • 支持多种硬件配置，包括CPU和GPU，且有针对不同硬件环境优化的实现方案。

应用场景

  • 由于其强大的语言理解和生成能力，Qwen2.5-7B可以应用于聊天机器人、智能助手、代码生成、内容创作等多种领域。

之前我的一篇文章菜鸟妈妈：微软开源GraphRAG的安装+示例教程（最全超详细教程，小白上手）也详细讲解了如何安装Ollama，大家可以参考。

2、创建Qwen2.5 7B虚拟环境

创建一个新的虚拟环境（首先，需要确保你的系统已经安装好anaconda），我自己电脑的python版本是3.12.2，所以执行如下命令： 

conda create -n Grid-ollama-local python=3.12.2

3、激活Qwen2.5 7B虚拟环境

激活名为的 Grid-ollama-local的Conda 环境，执行命令行如下：

conda activate Grid-ollama-local

4、安装Qwen2.5 7B模型

4.1 本地部署

代码下载有两种方式，一种是从Ollama上下载和运行，一种是从Qwen的github官方地址下载后运行。我采用的第一种方式。

  • Ollama下载

Ollama的下载地址：qwen2.5-coder:7b，Qwen2.5 7B模型大小为4.7GB。

然后执行如下命令，拉取模型并执行，第一次运行的时候需要下载。

ollama run qwen2.5-coder:7b

下载并运行后，你就可以提问了，比如：我问的问题，请问阿里云的通义千问模型有哪些，Qwen2.5 7B模型回答如下

5、Open-webui实现可视化

官方github界面：https://github.com/open-webui/open-webui?tab=readme-ov-file

官方文档：🚀 Getting Started | Open WebUI

具体参考Quick Start的内容：⏱️ Quick Start | Open WebUI

conda create -n open-webui python=3.12.2

5.2 激活webui的虚拟环境

添加图片注释，不超过 140 字（可选）

5.3 安装open-webui库

执行如下命令：

 

 

pip install open-webui
 

5.4 启动open-webui服务
 

 

 

open-webui serve
 

 

 

添加图片注释，不超过 140 字（可选）
 

初次启动也需要花费一点时间，启动成功之后即可看到8080端口。
 

 

 

添加图片注释，不超过 140 字（可选）
 

 

6、访问webui界面
 

在浏览器里输入localhost:8080 即可正常访问。 第一次登录会要求输入用户名、邮箱和密码，之后每次登录都会要求输入邮箱和密码。
 

 

 

添加图片注释，不超过 140 字（可选）
 

因为我之前也安装了其他模型，所以大家可以看看不同模型的回答，qwen2.5 7B针对相同的问题，有不同的答复，第一个问题回答还是错误的，准确性还有待进一步提高和加强。
 

 

 

 

7、比较Qwen2.5 7B和mistral:latest模型
 

 

 

 

 

 


                

        

    

  



    



                



	

		

			

				
					
Ollama本地私有化部署通义千问大模型Qwen2.5

				
			

			

				

					L
				

				

					09-26
					
					5124
					
				

			

		

		

			
				
Qwen是阿里巴巴集团Qwen团队的大型语言模型和大型多模态模型系列。现在大型语言模型已经升级到Qwen2.5。语言模型和多模态模型都是在大规模多语言和多模态数据上进行预训练的，并在符合人类偏好的高质量数据上进行后训练。Qwen具有自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、人工智能代理等功能。在Qwen2发布的过去三个月里，许多开发人员在Qwen2语言模型上构建了新的模型，向我们提供了宝贵的反馈。在此期间，我们专注于创建更智能、知识更丰富的语言模型。

			
		

	



                

            
              



	

		

			

				
					
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-OpenResty（三）

					
热门推荐

				
			

			

				

					没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
				

				

					10-07
					
					2万+
					
				

			

		

		

			
				
通过docker方式实现Qwen2.5-7B-Instruct集成vllm，流式输出

			
		

	



              


  
              

                


	

		

			

				
					
运用Ollama部署大语言模型Qwen

				
			

			

				

					拥有必珍惜
				

				

					07-18
					
					1832
					
				

			

		

		

			
				
大语言模型（Large Language Model，简称LLM）是一种基于深度学习技术的人工智能模型，它能够处理和生成自然语言文本。最近两年大语言模型比较火热，而且使用过程中大家也比较担心的就是数据泄露问题(比如数据被收集用作更大模型训练)，所以想在本地服务器上搭建一个大语言模型服务，这样对于数据泄露也不用那么担心了。本地搭建，我们会使用一些开源的工具和开源的大语言模型。以上是本地通过Ollama搭建大语言模型服务，并且同时搭建一套Open WebUI的方法。“笑对人生，智慧同行！

			
		

	





	

		

			

				
					
《解锁Qwen2.5-Omni：AI全模态大模型部署实战指南》

				
			

			

				

					zheng_ruiguo的专栏
				

				

					03-31
					
					2664
					
				

			

		

		

			
				
Qwen2.5-Omni 的部署为我们打开了全模态人工智能的大门，它以独特的架构和卓越的性能，为多模态交互带来了前所未有的体验。通过详细的部署步骤、全面的测试优化以及丰富的应用案例，我们看到了 Qwen2.5-Omni 在实际应用中的巨大潜力。在部署过程中，我们深入了解了硬件需求和软件环境搭建的要点，掌握了使用 vLLM 和 Ollama 框架等进行部署的方法，以及手机端部署的关键要点。部署后的功能测试和性能优化，确保了模型能够稳定、高效地运行，为实际应用提供可靠支持。

			
		

	



		

			
		



	

		

			

				
					
ollama运行qwen2.5-coder:7b

				
			

			

				

					Mooczx的博客
				

				

					12-04
					
					1099
					
				

			

		

		

			
				
我的前身是GPT-3，它是一种强大的语言生成模型，能够理解和处理自然语言。GPT-4是GPT系列中的一员，拥有更高的性能和能力。\n\n我可以回答问题、提供信息、创作文本和图片等多种任务。我的目标是帮助用户找到答案、解决问题和完成任务。

			
		

	





	

		

			

				
					
使用 Ollama 运行 Qwen2.5.1-Coder-7B-Instruct

				
			

			

				

					engchina的专栏
				

				

					11-11
					
					2436
					
				

			

		

		

			
				
使用 Ollama 运行 Qwen2.5.1-Coder-7B-Instruct

			
		

	





	

		

			

				
					
ollama + qwen2.5:7b + vscode + 3060显卡部署本地大模型实现ai辅助代码编写

				
			

			

				

					比尔·马云的博客
				

				

					02-08
					
					1277
					
				

			

		

		

			
				
window电脑本地部署ollama+qwen2.5:7b集成vscode

			
		

	





	

		

			

				
					
AI大模型企业应用实战：Prompt让LLM理解知识

				
			

			

				

					2401_84204413的博客
				

				

					06-25
					
					2608
					
				

			

		

		

			
				
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

			
		

	





	

		

			

				
					
有手就行，轻松本地部署 Llama、Qwen 大模型，无需 GPU

				
			

			

				

					python12345678_的博客
				

				

					07-02
					
					3594
					
				

			

		

		

			
				
没有消费级的 GPU，竟然都可以拥有自己的本地大模型。部署过程基本上没有卡点，一台普通的 Mac 就能搞定，太香了~想学习什么，欢迎留言告诉我。​。

			
		

	





	

		

			

				
					
开源模型应用落地-qwen模型小试-Qwen2.5-7B-Instruct-玩转ollama（一）

				
			

			

				

					没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
				

				

					10-28
					
					6695
					
				

			

		

		

			
				
Ollama通过极大简化机器学习模型的下载和管理过程，降低了AI技术的入门门槛，为开发者和爱好者提供了便捷的本地运行环境，有助于保护数据隐私并促进创新与社区合作。

			
		

	





	

		

			

				
					
开源模型应用落地-qwen模型小试-Qwen2.5-7B-Instruct-玩转ollama-Modelfile文件（二）

				
			

			

				

					没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
				

				

					10-29
					
					7086
					
				

			

		

		

			
				
通过使用Modelfile，Ollama能够简化模型的管理和部署，使得用户能够更方便地进行模型的加载、运行和版本控制。

			
		

	





	

		

			

				
					
部署Qwen2.5-7b大模型详解

				
			

			

				

					猛犸象
				

				

					10-17
					
					1万+
					
				

			

		

		

			
				
部署Qwen2.5-7b大模型详解

			
		

	





	

		

			

				
					
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）

				
			

			

				

					Y525698136的博客
				

				

					08-07
					
					1418
					
				

			

		

		

			
				
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）

			
		

	





	

		

			

				
					
学习笔记：使用Ollama项目快速本地化部署Qwen 1.5模型

				
			

			

				

					weixin_42118737的博客
				

				

					05-16
					
					5953
					
				

			

		

		

			
				
本文记录了采用Ollama项目快速本地部署运行qwen1.5模型。

			
		

	





	

		

			

				
					
使用ollama本地部署qwen2并api调用

				
			

			

				

					m0_62458145的博客
				

				

					10-22
					
					3989
					
				

			

		

		

			
				
Ollama 是一个开源的、本地运行的 AI 聊天模型，允许在自己的设备上运行 LLM，无需依赖云服务。目前Ollama library已经支持Qwen2，可以直接使用。windows下选择exe ，然后运行安装，安装完成后。首先安装ollama， 访问官网 下载 ollama 对应版本 Download Ollama on macOS。等待模型下载，下载的模型速度取决您的网络速度。模型启动完成，这样我们就可以实现模型推理了。查阅官方的api参考文档，得到使用说明。使用ollama 命令行窗口推理。

			
		

	





	

		

			

				
					
【AI大模型本地部署】有手就行，轻松本地部署 Llama、Qwen 大模型，无需 GPU

				
			

			

				

					Gaga246的博客
				

				

					12-25
					
					1386
					
				

			

		

		

			
				
没有消费级的 GPU，竟然都可以拥有自己的本地大模型。部署过程基本上没有卡点，一台普通的 Mac 就能搞定，太香了~为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

			
		

	





	

		

			

				
					
开源模型应用落地-Qwen2.5-Omni-7B模型-部署 “光速” 指南

					
最新发布

				
			

			

				

					没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
				

				

					04-03
					
					1万+
					
				

			

		

		

			
				
阿里巴巴开源的全模态大模型Qwen2.5-Omni-7B以其强大的多模态感知能力和创新架构，标志着人机交互的重大突破，为普惠AI时代铺平道路。

			
		

	





	

		

			

				
					
【大模型】 端侧大模型 Qwen/Qwen2.5-1.5B-Instruct

				
			

			

				

					Zack的博客
				

				

					10-19
					
					3616
					
				

			

		

		

			
				
【大模型】 端侧大模型 Qwen/Qwen2.5-1.5B-Instruct

			
		

	





	

		

			

				
					
Qwen2.5 全链路模型体验、下载、推理、微调、部署

				
			

			

				

					顺其自然~专栏
				

				

					12-09
					
					2262
					
				

			

		

		

			
				
在数学专用语言模型方面，通义千问上个月发布了首批模型 Qwen2-Math，而这一次，相比于 Qwen2-Math，Qwen2.5-Math 在更大规模的数学相关数据上进行了预训练，包括由 Qwen2-Math 生成的合成数据。Qwen2.5-Math-72B-Instruct 的整体性能超越了 Qwen2-Math-72B-Instruct 和 GPT4-o，甚至是非常小的专业模型如 Qwen2.5-Math-1.5B-Instruct 也能在与大型语言模型的竞争中取得高度竞争力的表现。

			
		

	





	

		

			

				
					
ollama 部署qwen2.5-7b

				
			

			

				

					01-16
				

			

		

		

			
				
### 部署 Qwen2.5-7B 模型至 Ollama 环境

#### 准备工作
为了成功部署 `Qwen2.5-7B` 至 Ollama 平台，需确认环境已安装必要的依赖项并配置好 Python 开发环境。确保拥有管理员权限来执行命令以及足够的磁盘空间存储大型模型文件。

#### 下载模型
获取指定版本的预训练权重对于启动项目至关重要。根据官方文档指示下载对应于 `/qwen2.5-7b-instruct` 的模型资源，并将其放置在服务器上的适当位置[^1]。

```bash
# 假设通过git clone或其他方式获得模型仓库链接
git clone https://path_to_model_repo/qwen.git
cd qwen/models/
wget http://model_downloads/qwen2.5-7b-instruct.tar.gz
tar -xzf qwen2.5-7b-instruct.tar.gz
```

#### 设置Ollama服务
初始化本地或远程主机上运行的服务实例之前，先按照官方指南完成 Ollama Server 的搭建过程。这通常涉及 Docker 或 Kubernetes 编排工具的应用程序设置。一旦准备好 API 接口，则可以继续下一步操作。

#### 修改API接口参数
调整客户端代码中的连接细节以匹配实际使用的 IP 地址和端口号。这里展示了一个简单的例子用于创建聊天会话请求：

```python
from openai import OpenAI 

client = OpenAI(
    base_url='http://your_ollama_server_ip:port/v1/',
    api_key='your_api_token_here',
)

chat_completion = client.chat.completions.create(
    messages=[
        {'role': 'user', 'content': '广州有什么好玩的地方？'}
    ],
    model='qwen2.5:7b',
    stream=False,
)
print(chat_completion.choices[0].message.content)
```

请注意替换上述脚本里的占位符 (`your_ollama_server_ip`, `port`, 和 `your_api_token_here`) 为真实的值以便正常通信[^2]。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值