weixin_42357472的博客

【代码】qwen2.5 ollama推理；openai function call调用中文离线agents使用。

参看：https://github.com/langgenius/dify下载安装：https://docs.dify.ai/getting-started/install-self-hosted/docker-compose首先访问先设置帐号密码web访问1、模型配置右侧设置里https://docs.dify.ai/zh-hans/development/models-integration/ollama添加ollama报错，因为部署dify是容器里访问外面，解决方法：syste

参考：https://github.com/lyz1810/live2dSpeekindex.html增加后端asr、llm、tts的api服务backed.py项目运行打开页面

参看：文本嵌入模型榜单。

运行的话还需要额外下载https://github.com/lyz1810/edge-tts支持语音。

gally选项里可以更换数字人形象和背景。添加deepseek大模型接口。

具体模型model写在下面代码Agent里指定：model=“deepseek-coder”,

参数参看https://huggingface.co/docs/optimum/intel/openvino/export。

参看：通过prompt形式，基本任何llm模型都可以使用来自定义agent，不用只能那些支持functioncall的大模型的，更灵活自由。

参看：通过深度图实现图像3d效果。

但播放自己特征的数字人口效果不是很好，嘴看着有些奇怪。结果视频没有声音，用ffmpeg吧声音合并。结果保存在video_data/下面。3）运行实时数字人，暂时没有声音。2）运行demo合成视频。

#然后页面打开：http://localhost:8000；效果没有上面的depthy好。

参看：https://cloud.tencent.com/developer/article/2359831https://hub.docker.com/r/pgvector/pgvector/tagshttps://github.com/pgvector/pgvector拉取运行：连接：1）安装客户端2）连接https://github.com/pgvector/pgvector1）稠密向量2）稀疏向量

【代码】RAG新思路降低检索错误率：为文档划分的每个块进行大模型上下文构建。

参考：运行：运行调用tools报错，qwen官方说会尽快修复增加 /ai/template.jinja 文件。

参考：https://qwenlm.github.io/zh/blog/qwen2.5/https://huggingface.co/Qwen/Qwen2.5-7B-Instruct下载：vllm部署：流式非流式

【代码】BGE-M3稠密向量、稀疏向量使用案例。

参考：https://github.com/zhangfaen/finetune-Qwen2-VL/tree/main。运行模型保存在：train_output下。2B显存训练也很高，4090卡训练的。安装特定包，对qwen2vl支持。

参考：https://www.cursor.com/https://platform.deepseek.com/https://www.cursor.com/下载安装后，注册账号登录即可再高级里选择设置再模型这注册模型：模型名称一定要填正确，url地址填好，最后填上秘钥验证

参考：SWIFT支持300+ LLM和50+ MLLM（多模态大模型）的训练(预训练、微调、对齐)、推理、评测和部署。

【代码】swift：qwen2 VL 多模态图文模型lora微调swift。

【代码】多agents调用使用离线大LLM：MiniCPM3模型。

参考：https://github.com/OpenBMB/MiniCPM下载模型：环境安装：

数据集：https://huggingface.co/datasets/quocanh34/itay-hires-lora-dataset-v2。国内https://modelscope.cn/models/ai-modelscope/flux.1-dev/files。模型地址：name_or_path；待支持：https://github.com/kohya-ss/sd-scripts/X-LABS 的https://github.com/XLabs-AI/x-flux。1）首先填写配置文件。

大概需要13G多，t4卡推理一张图需要3-4分左右时间。huggingface-cli login 登录。对text模块bnb量化。

参考：https://huggingface.co/black-forest-labs/FLUX.1-devhttps://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/1079https://github.com/huggingface/diffusers/issues/9149https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main下载单个模型：bit

vllm 推理qwen gguf模型使用案例；openai接口调用、requests调用

参考：https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes?bnb=8-bithttps://www.atyun.com/57101.htmlhttps://huggingface.co/blog/4bit-transformers-bitsandbytesbitsandbytes错误参考：https://cnloong.blog.csdn.net/article/details/141607933使用q

参考：https://github.com/huggingface/peft##文档https://huggingface.co/docs/peft/indexhttps://www.wehelpwin.com/article/4299https://www.ethanzhang.xyz/2024/07/09/%E3%80%90%E4%B8%AA%E4%BA%BA%E5%8D%9A%E5%AE%A2%E3%80%91%E4%BD%BF%E7%94%A8huggingface%E5%9C%A8%E5%8

参考：https://huggingface.co/docs/bitsandbytes/main/en/installation报错信息版本：Cuda本身拥有两个API，分别是cuda driver version 和 cuda runtime version。1、nvidia-smi查看的是cuda driver version版本（如图1）

自定义agent，同时模型记得更换。多agent编排组织实现自定义功能。本文章windows平台测试。支持添加离线vllm模型。2）自定义agent。

它的主要目标是解决在多GPU和多节点环境下训练大型模型的内存效率问题。FSDP通过将模型的参数、梯度和优化器状态分片到多个GPU上，从而允许在有限的内存资源下训练更大的模型。优化器状态分片：优化器的状态也会被分片，每个GPU只维护与其参数分片对应的优化器状态。梯度分片：梯度也会被分片，每个GPU只计算和存储与其参数分片对应的梯度。参数分片：将模型的参数分片到多个GPU上，每个GPU只保存一部分参数。通信优化：通过减少通信量和优化通信模式，提高训练效率。fsdp这份代码训练是在单机多卡，两卡上运行的。

参考：https://github.com/microsoft/autogenhttps://microsoft.github.io/autogen/docs/topics/non-openai-models/local-vllm安装：pyautogen-0.2.35openai-1.24.01） ollama2)vllm制定一个从哈尔滨去北京旅游5天的计划，我们可以按照以下日程进行规划：请根据个人兴趣和实际情况调整行程， 确保有充足的休息时间，同时关注天气 预报和交通状况，以确保旅行的顺利

测试在centos也可以正常运行gpu支持。

方法：mediapipe检测出人脸Depth-Anything求出深度视差图人脸坐标取对应视差图获取对应位置视差换算：先提前固定人脸距离（比如0.5m）a1得出视对应差值d1，加入不同距离视差值是相对成比例，那新的人脸距离a2等于 (a1/d1)*新的人脸距离位置的视差值d2这方法测量精度很一般，只是实现功能尝试，仅参考。

【代码】mediapipe 人脸检测案例。

参考：https://www.modelscope.cn/models/iic/speech_campplus_sv_zh_en_16k-common_advanced/modelscope 1.17.11）加载离线音频暂时好像只支持wav，音频采样率要16000采样率不对尽量提前转换，2）说话人向量获取192维度，result[“embs”]

参考：https://www.marqo.ai/course/fine-tuning-clip-modelscolab参考：https://colab.research.google.com/drive/1iI16yIc8m-sWrGx3yVrlChUwScmKStQN?usp=sharing

参考：大概是通过agent方式区分步骤实现。

参考：问题：gradio网页输出视频nan；图片webp显示不出来解决方法：需要通过gradio的Video、Image包装。