leo0308的博客

由于注意力的作用机制，不论输入序列的顺序如何，输出结果都是一样的。也就是丢失了位置信息。但是对于语言模型， 我们都知道顺序是很重要的， 所以需要对输入序列额外注入位置信息。从图上可以看出， 序列位置与位置编码有个近似的线性关系， 同时还有一定的周期特性，因此位置编码一定程度上反应了序列中的位置信息。Transformer 论文中采用了简单的相对位置编码， 用sin 和cos函数表示序列中不同位置的信息。横轴表示嵌入维度， 纵轴是token在序列中的位置， 如输入是一个长度是32的序列。

Emu3模型只基于下一个token预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。与当前由扩散模型（如Stable Diffusion）和组合方法（如结合 CLIP视觉编码器和LLM）所主导的多模态大模型有显著不同。

在VLA这个领域， 比较著名的工作当数谷歌的RT系列， 有RT-1， RT-2, RT-X等等。但是RT系列没有开源代码， 想要复现还是有难度的。最重要的是， 没有提供fine-tune的方法， 无法根据自己的需要进行微调。现在大模型已经卷到了机器人领域。在视觉语言模型（VLM）的基础上， 加入机器人的动作（Action) 这一模态， 视觉语言动作大模型（VLA）是目前大模型应用于机器人的流行方法。

GPT-4o mini 使用费用是0.15美元/1M 输入token, 0.6美元/1M 输出token，大约是GPT-4o的1/30, 性价比很高。ERNIE-4.0-Turbo-8K，使用费用是30元/1M 输入token， 60元/1M 输出token。GPT-4o 使用费用是5美元/1M 输入token, 15美元/1M 输出token，需要注意，百度千帆平台上还提供其他家的模型调用服务， 如llama, yi-34b等。拿最新的旗舰模型来看，

在 https://huggingface.co/models 上搜索对应模型的gguf文件下载即可。如 Qwen/Qwen2-0.5B-Instruct-GGUF。文件格式没要求， 用简单的txt文件就行。

现象： 运行qwen2:7b模型， 无论输入是什么， 输出都是无意义的GG。

【代码】llama_index中使用Ollama是出现timed out 问题。

参考：https://huggingface.co/docs/transformers/installation#offline-mode

使用llama_index 中的huggingface模型时， 由于网络问题， 无法访问外网， 我用os.environ设置了镜像站， 发现下载的时候这个镜像站地址没起作用， 还是去huggface.co下载模型了。os.environ和export 都可以用来临时设置环境变量。然而它们的使用却有不用的效果。后就是从镜像站下载了。

设置以下环境变量：前提是你有可以访问外网的代理。

crewAI中默认使用的gpt4的模型， 在环境中配置即可使用。但openai的api毕竟是要花钱的， 况且现在对大陆地区做了封禁， 使用起来不是那么方便。而Ollama可以方面的运行本地的大模型， 既不用花钱， 又可以在本地进行使用。crewAI中也支持Ollama使用本地模型。

在上一篇文章中， 我们已经学会了如何用Ollama在本地运行大模型。但是所有的操作都是在命令行中进行的， 不是很直观。如果有一个漂亮的UI界面就更好了。Open WebUI 就是一个可以实现UI界面的开源工具， 可以生成类似openAI风格的UI界面。

当前各种大模型层出不穷，但想要在本地运行起来一个大模型还是有一定门槛的。并且模型众多， 每个模型都有自己不同的配置和使用方法，使用非常不便。Ollama就是一个非常好的工具， 可以让你方便在本地运行各种大模型。

想要把大模型在本地跑起来还是有一定门槛的， 并且模型众多，每个大模型的使用和配置都不同， 实在比较麻烦。Langchain是一个大模型模型的开源框架，核心是以pipeline的形式串联大模型应用构建的全流程， 使用它可以大幅简化大模型的应用开发流程。RAG是一种技术方法， 通过信息检索给大模型提供事实数据， 从而增强大模型生成的真实性， 可以理解为大模型的一个外挂知识库。所以总结一下， Langchain和Ollama就是2个非常重要的辅助工具， 使用他们可以非常便捷地实现RAG。

本文教你手把手训练自己的Lora模型， 炼制的是Stable Diffusion的Lora模型。

大模型高效finetune方法LoRA。

AIGC之stable diffusion炼丹总结。