weixin_42357472的博客

【代码】OCR识别小模型：GOT-OCR2。

【代码】qwen2 VL 多模态图文模型；图像、视频使用案例。

参考：https://www.marqo.ai/course/fine-tuning-clip-modelscolab参考：https://colab.research.google.com/drive/1iI16yIc8m-sWrGx3yVrlChUwScmKStQN?usp=sharing

参考：vllm：0.5.4测试单卡4090不足，这里两张4090部署部署：显存不足也可以减少max-model-len 测试。

参考：支持模型https://docs.vllm.ai/en/latest/models/supported_models.html模型要升级到这：部署：api参考：https://platform.openai.com/docs/guides/vision?lang=curl用base64传递图片

参考：4090卡24g是运行可能显存不足，这里暂时enable_model_cpu_offload()测试，并减少num_inference_steps步数。

参考：https://huggingface.co/openbmb/MiniCPM-V-2_6https://github.com/OpenBMB/MiniCPM-V效果很好，20g现场可以运行：代码1）单图2）多图3）视频

参考：https://github.com/facebookresearch/segment-anything-2其他使用案例：https://colab.research.google.com/github/roboflow-ai/notebooks/blob/main/notebooks/how-to-segment-videos-with-sam-2.ipynb在线demo：https://huggingface.co/spaces/SkalskiP/segment-anything-mode

参考：https://github.com/huggingface/blog/blob/main/quanto-diffusers.md量化transformer结构量化text encodeer结构

使用处理数据集参考：https://blog.csdn.net/weixin_42357472/article/details/140144141。处理成DiffSynth-Studio框架格式，这里选取50张做微调。主要前两列，这是训练的英文label。

参考：https://github.com/modelscope/DiffSynth-Studiohttps://github.com/modelscope/DiffSynth-Studio/tree/main/examples/train/kolors环境模型下载数据集：注意metadata.csv与数据集图片放一个目录train文件夹下地址：https://modelscope.cn/datasets/buptwq/lora-stable-diffusion-finetune/files

Qwen-Audio 接受多种音频（人类语音、自然声音、音乐和歌曲）以及文本作为输入，并输出文本。1）Qwen-Audio 声音音频对话。

版本一定要 diffusers (0.30.0.dev0)图生图（Image to Image）文生图（Text to Image）

https://chat.openai.com/ （网络国内使用不方便）https://pi.ai/talk （网络国内使用方便）豆包、海螺、通义、元宝等。

参考：https://huggingface.co/PixArt-alpha/PixArt-Sigma-XL-2-1024-MS。升级包：diffusers-0.29.0。4090卡显存占用17G多。生成4张，大概15秒需要。生成速度3秒左右1张。

1）sd3_medium_incl_clips_t5xxlfp16.safetensors 放到ComfyUI/models/checkpoints/下。参考：https://www.youtube.com/watch?2）sd3官方提供的几个工作流拷贝到ComfyUI/custom_nodes/下。queue prompt运行整个工作流。模型等文件放到ComfyUI对应位置。模型加载完后运行图片生成1-2秒。1080生成，4-5秒时间。load是上传工作流文件。

参考：https://llava-vl.github.io/https://ollama.com/blog/vision-modelshttps://blog.csdn.net/weixin_42357472/article/details/137666022图片地址前面空格就行

参考：https://github.com/abi/screenshot-to-code。官网：https://screenshottocode.com/

diffusers 这里是官方上面有更改，参考：https://github.com/gojasper/flash-diffusion/blob/main/requirements.txt。参考：https://github.com/gojasper/flash-diffusion。生成速度是快很多，4090差不多3秒生成。

Alpha-VLLM/Lumina-Next-T2I 与 google/gemma-2b 两个模型。demo.py 更改gemma路径。***:7860端口。

在线体验网址：https://huggingface.co/spaces/PixArt-alpha/PixArt-Sigma在线体验网址：中文在线体验网址：

支持总结，思维导图、对话。

参考：https://github.com/open-compass/VLMEvalKit。

lcm_pixart 模型这里用本地下载的，然后改用了cpu offload加载因为gpu资源不足。inference_step 4-10高点效果会好点，这步数比原来20来布确实有提升。参考：https://github.com/HaozheLiu-ST/T-GATE。

参考：https://github.com/openai/CLIPCLIP：batch内的图文对做多分类softmax；比如下图第一行表示第一个文本与batch内哪个图片匹配（多分类）；除了行还计算列，比如第一列表示第一个图片与batch内哪个文本匹配SigLIP：batch内的图文对做二分类sigmod；比如下图第一行表示 第一个文本分别与batch内每个图片做二分类CLIPSigLIP2*np.eye(n) - np.ones(n) 构建了label的矩阵，-1或者1的二分类；例如下列n=3

nvidia-smi查看值不一定准，下图2的T4实际是torch查出来索引为1，以后者torch查出来结果为准。

T4卡16g运行：参考：https://huggingface.co/docs/diffusers/main/en/using-diffusers/text-img2vid案例用的google colab T4显卡运行安装包：pip install diffusers accelerate。

参考：https://huggingface.co/PixArt-alpha/PixArt-LCM-XL-2-1024-MS使用下来这个模型效果速度算最不错的下载模型：（1080p图片生成，LCM模型是lcm加速）或。

参考：https://huggingface.co/stabilityai/stable-cascade下载：需要分别下载两个模型stabilityai/stable-cascade-prior与stabilityai/stable-cascade。

SDXL-Turbo是一种快速生成的文本到图像模型，可以在单个网络评估中从文本提示合成逼真的图像。参考：https://huggingface.co/stabilityai/sdxl-turbo。

参考：https://github.com/unum-cloud/uform。UForm相比其他多模态模型小很多，不到5G参数。让用中文回答效果支持不好。

参考：https://python-bloggers.com/2022/12/stable-diffusion-application-with-streamlit/https://github.com/LowinLi/stable-diffusion-streamlit本项目很简洁，暂时每次只能返回一张图片；gpu资源T4 16g代码1）flask 后端flask_end.py2）streamlit 前端streamlit_front.py可视化web效果电脑端访问：http://1***

参考：Diffusers是用于生成图像，音频甚至分子3D结构的最先进的扩散模型的首选库。无论是寻找简单的推理解决方案还是训练自己的扩散模型，Diffusers都是一个支持两者的模块化工具箱。该library 的设计侧重于性能，简单的简单性和对抽象的可定制性。Diffusers提供了三个核心组件：1、Pipelines: 高层类，以一种用户友好的方式，基于流行的扩散模型快速生成样本2、Models：训练新扩散模型的流行架构，如UNet。

参考：http://www.bryh.cn/a/604194.html看到PixArtAlpha模型前向加噪声beta 是0.0001到0.02,是linear线性改变beta_start、beta_end和beta_schedule 3个参数来控制噪声调度器的超参数beta。beta_start为控制推理阶段开始的beta值beta_end为控制beta的最终值beta_schedule可以通过一个函数映射来为模型推理的每一步生成一个beta值。默认是20步add_noise前向加噪可

图像分割unet、扩散模型学习

参考：https://arxiv.org/pdf/2006.11239.pdf ##论文1、红色框：前向过程论文公式推出可以从x0原图一步到最终噪声图2、βt是每次加噪的方差。

参考：大概GPU资源8G-16G；另外模型资源下载慢可以在国内镜像：https://aifasthub.com/

【代码】Diffusion学习：图片高斯加噪。