【Win11家庭版安装Dify+Ollama+Deepseek本地大模型全流程-小白保姆级】

机缘巧合下本人开始探索dify开发应用平台,并结合ollama部署Deepseek本地大模型,探索大模型在日常工作、项目过程中能否解决业务逻辑问题,起到了意想不到的作用。

部署前准备

个人笔记本一台,系统为Windows 11 家庭中文版。
软件准备:网上搜着dify部署需要准备安装Docker、Docker Compose、Git以及Python 3.x和Node.js等开发环境,后面还有Ollama以及大模型安装。其中,git、pytho、node这些都是官网下载,默认安装,没啥大问题。

一、 Docker部署

docker安装前置条件会多些,个人整理的关键步骤如下:
1、win11家庭版默认不带Hyper-V,需要自己安装。流程如下:
1)创建hyper.bat文件,内容如下,以管理员身份运行hyper.bat

pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft
### DifyOllama 模型简介 Dify 是一种用于开发和测试新应用程序功能的强大工具,允许开发者利用其环境快速实现与大型语言模型的交互。通过编写代码可以轻松集成这些模型的输入输出逻辑,或是借助 Dify 提供的应用程序编程接口(API)完成更复杂的操作,如模型调用和管理等功能[^1]。 对于Ollama模型而言,默认情况下它们会被保存在特定的操作系统路径下:macOS系统的`~/.ollama/models`目录;Linux系统的`/usr/share/ollama/.ollama/models`位置;而在Windows操作系统上则是位于用户的个人文件夹下的`.ollama\models`子目录内[^2]。 当考虑构建基于本地的知识库并处理可能出现的技术难题时,采用Ollama加上Dify平台配合大规模预训练语言模型(LLM),能够有效提升效率。具体来说,在选择推理引擎方面有多种选项可供挑选,例如Qwen2.5、Llama3或者是GEMMA等不同版本。考虑到计算资源消耗情况和个人设备性能水平,推荐一般计算机选用参数量较小的版本比如7B或8B规模的模型,因为更大尺寸的模型不仅难以运行而且占用更多空间[^3]。 ```python import dify_sdk as sdk # 初始化Dify SDK客户端配置 client = sdk.Client(api_key='your_api_key') def load_ollama_model(model_name, model_size="7b"): """加载指定名称和大小的Ollama模型""" path_mapping = { "mac": f"~/.ollama/models/{model_name}-{model_size}", "linux": f"/usr/share/ollama/.ollama/models/{model_name}-{model_size}", "windows": rf"C:\Users\<username>\.ollama\models\{model_name}-{model_size}" } system_type = detect_system() # 假设有一个函数detect_system返回当前系统类型 try: with open(path_mapping[system_type], 'rb') as file: return client.load_model(file.read()) except Exception as e: print(f"Failed to load {model_name} due to error: ", str(e)) def main(): loaded_model = load_ollama_model('qwen', '7b') if not loaded_model is None: result = perform_inference(loaded_model) process_result(result) if __name__ == "__main__": main() ```
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值