weixin_42357472的博客

参考：WPS软件上的表格分析阿里mcp：https://developer.aliyun.com/article/1661198 （搜索加可视化）

参考：https://deepseek.csdn.net/67f1e1afeb072863e39c011d.htmlMCP服务端应用创建一个python文件，命名为math_server.pyMCP客户端创建一个python文件，命名为math_client.py运行使用先运行math_server.py，再运行math_client.py，进行AI对话,观察日志输出结果，确定是否调用了自定义的MCP Server服务

参考：OpenAI Agents SDK 官方支持mcp协议。

参考：https://www.cnblogs.com/ryanzheng/p/18781666https://www.cnblogs.com/mingupupu/p/18745928https://github.com/modelcontextprotocol/python-sdkserver_test.py用上mcp.run()就可以python运行windows配置

1、windows 遇到：Connect MCP Servers error"spawn npx enoent" 错误。MCP是一种协议，cline、claude等相当于客服端，调用mcp相关服务器应用（各种智能体工具）参考：https://github.com/cline/cline/issues/1948。MCP客服端（cline）相当于浏览器，MCP服务器（各种智能体工具）相当于独立网站应用。vscode 下载插件安装cline。cline市场查看安装mcp服务器。首先设置cline模型底座。

参考：支持语言与声音：https://huggingface.co/hexgrad/Kokoro-82M/blob/main/VOICES.md1.0版本z中文f女生m男生。

语音和图像分别作为独立的lora，然后MOE形式可以选择走具体路线。结合了MOE框架实现。

有1.3和14B两个模型大小，1.3B只要10G显存既可以运行。

在线demo：用的colab t4卡免费。

参考：主要就是sys参数。

参考：https://github.com/huggingface/smolagentstransformers-4.47.1 升级到版本解决（错误：ImportError: cannot import name ‘define_import_structure’ from ‘transformers.utils.import_utils’）使用：使用第三方deepseek模型，注意litellm使用接口参数（deepseek/deepseek-chat全称）：https://docs.litell

参考：https://github.com/RhapsodyAILab/MiniCPM-V-Embedding （类似clip模型）其他多模态向量模型：ColPali （ocr free模型）感觉效果比MiniCPM-V-Embedding好点。

方案：MiniCPM-V-Embedding 作为向量模型MiniCPM-V 多模态大模型。

【代码】edge_tts 实现实时流式语音播放输出。

参考：https://blog.csdn.net/weixin_42357472/article/details/137020794。asr：funasr-SenseVoiceSmall 离线。llm：deepseek 在线api。tts：edge-tts 在线api。

context_recall：是否检索到了回答问题所需的所有相关信息，提供的回答正确地解决了问题并与真实情况一致，表明上下文精度和召回率很高。faithfulness：生成答案的事实准确性，得分为 0.75，表明尽管答案大部分是准确的，但可能存在细微的不完整之处。answer_relevancy：生成答案与问题的相关性。相关性得分非常高（0.995013），表明答案与问题高度相关。context_precision：检索到的上下文的准确度。用的langchain，使用的deepseek模型。

【代码】KWS实时语音唤醒词实现funasr。

参看：ClearVoice 提供了一个统一的推理平台，用于语音增强、语音分离以及视听目标说话人提取。代码参看：声音降噪加强支持16k 48k采样。

参考：https://docs.vllm.ai/en/latest/usage/structured_outputs.html。参考：https://ollama.com/blog/structured-outputs。用的Qwen/Qwen2.5-3B-Instruct模型。

有时候多轮进行上下文关联变弱，比如前面问北京的天气，后面问广州的呢，可能前面大模型回答内容过多一起上下文给到会导致后面多轮识别产生错误。解决方法：可以把用户问题单独取出来做处理，根据前面问题通过大模型prompt形式改写当前问题。

参考：Xinference，一款 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理工具，类比ollama、vllm；但他支持语音、文字、图像、视频模型等推理。

按自己显卡cuda版本安装。T4卡15G显卡训练。

测试T4 15G显存可以使用，图像描述理解显卡需求相对较少，图像生成大概8-10G左右，但是生成时间比较久3-5分钟。

【代码】qwen2.5 ollama推理；openai function call调用中文离线agents使用。

参看：https://github.com/langgenius/dify下载安装：https://docs.dify.ai/getting-started/install-self-hosted/docker-compose首先访问先设置帐号密码web访问1、模型配置右侧设置里https://docs.dify.ai/zh-hans/development/models-integration/ollama添加ollama报错，因为部署dify是容器里访问外面，解决方法：syste

参考：https://github.com/lyz1810/live2dSpeekindex.html增加后端asr、llm、tts的api服务backed.py项目运行打开页面

参看：文本嵌入模型榜单。

运行的话还需要额外下载https://github.com/lyz1810/edge-tts支持语音。

gally选项里可以更换数字人形象和背景。添加deepseek大模型接口。

具体模型model写在下面代码Agent里指定：model=“deepseek-coder”,

参数参看https://huggingface.co/docs/optimum/intel/openvino/export。

参看：通过prompt形式，基本任何llm模型都可以使用来自定义agent，不用只能那些支持functioncall的大模型的，更灵活自由。

参看：通过深度图实现图像3d效果。

但播放自己特征的数字人口效果不是很好，嘴看着有些奇怪。结果视频没有声音，用ffmpeg吧声音合并。结果保存在video_data/下面。3）运行实时数字人，暂时没有声音。2）运行demo合成视频。

#然后页面打开：http://localhost:8000；效果没有上面的depthy好。

参看：https://cloud.tencent.com/developer/article/2359831https://hub.docker.com/r/pgvector/pgvector/tagshttps://github.com/pgvector/pgvector拉取运行：连接：1）安装客户端2）连接https://github.com/pgvector/pgvector1）稠密向量2）稀疏向量

【代码】RAG新思路降低检索错误率：为文档划分的每个块进行大模型上下文构建。

参考：运行：运行调用tools报错，qwen官方说会尽快修复增加 /ai/template.jinja 文件。

参考：https://qwenlm.github.io/zh/blog/qwen2.5/https://huggingface.co/Qwen/Qwen2.5-7B-Instruct下载：vllm部署：流式非流式

【代码】BGE-M3稠密向量、稀疏向量使用案例。