歪西的博客

文章重点介绍了BPE（Byte Pair Encoding）算法

通过实际的 PyTorch 代码，逐行剖析 Transformer 的实现细节，让理论落地，真正看透 Transformer 是如何工作的。

本文介绍了在Windows11环境下使用Docker部署NanoBot AI助手的过程。主要内容包括：1)环境准备，需安装Docker Desktop并获取Kimi API Key；2)项目初始化，通过GitHub下载NanoBot并执行官方引导命令；3)核心配置，编辑config.json文件设置AI模型参数；4)容器化部署，启动Gateway服务；5)维护指令，包括交互对话、状态检查和日志监控等功能。所有工作目录挂载到D:\nanobot-lab实现数据持久化，通过Docker命令实现服务管理和交互操作

本文介绍了在Windows11系统下使用Docker部署FunASR语音识别服务的完整流程。首先通过Docker拉取FunASR镜像并创建模型存储目录，然后启动容器并映射端口和目录。进入运行环境后，执行服务启动命令，配置包括VAD、ASR、标点预测等模型路径。服务启动后自动下载所需模型并监听10095端口。最后下载官方Demo页面，修改服务地址即可测试语音转文字功能。整个流程涵盖了从环境准备到服务测试的关键步骤，为开发者提供了完整的FunASR部署指南。

前提：前文实现了对话的记忆功能，详见但是如果多个用户使用，还需要将各自用户的对话进行隔离开，故引入LangChain4j的memoryId，用来隔离互相之间的对话。

onPartialResponse(sink::next) // 每接收到一个 token，就推送到前端。ChatMemory：聊天上下文记忆，创建一个聊天记忆对象，记住最近的 20 条消息，消息数是可以根据自己需求改的。在实现了调用Ollama接口实现对话功能后，发现每次对话都是一个新的对话环境，不能针对一个问题多轮的询问下去。定义了一个AI助手接口，LangChain4j 会基于这个接口生成实现类，一个非流式，一个流式。：设置用于普通对话的模型。：设置用于流式对话的模型。：生成最终的实现类并返回。

前置条件：根据上篇文章完成springboot初步集成LangChain4j但是接口方法中，关于大模型的配置都是写死的，不符合编码的合理性，本片目的将参数内容配置化。

springboot版本3.4.6，已安装ollama并下好大模型参考文档：LangChain4j官网。

前提：LLaMA-Factory已安装完毕并运行成功，详见上一篇博客。

下载完了直接扔D盘，执行命令pip install D:\torch-2.6.0+cu126-cp310-cp310-win_amd64.whl，就看到在装了，装完这个就能删掉了，如果网络环境访问官方 PyPI 很慢或不稳定（尤其在中国大陆常见），这里也会失败，可以切换到国内的镜像站。执行命令 pip install -e ".[torch,metrics]" ，使用隔离环境，不用--no-build-isolation，防止出现问题。说明我NVIDIA 显卡已安装驱动，支持的。查看自己电脑显卡信息。

根据spring ai的官网文档，完成springboot项目与spring ai的接入

前提：个人PC机，配置：CPU:i5-13600KF 显卡：RTX3080 内存：32GB。默认大模型下载在C盘，这里改到D盘，在系统变量中增加如下，确保文件夹存在；找到自己想要的，如图我用的qwen3:8b，复制run命令；在cmd界面中，运行复制到的命令，等待下载完成即可。，点击下载，完成后傻瓜式安装即可；如图这里就已经可以使用了。点击右上角Models。1.安装ollama。