weixin_42357472的博客

点选或画框进行分割加识别描述输出。

参考：Open Interpreter（开放解释器） 可以让大语言模型（LLMs）在本地运行代码（比如 Python、JavaScript、Shell 等）。安装后，在终端上运行 $ interpreter 即可通过类似 ChatGPT 的界面与 Open Interpreter 聊天。本软件为计算机的通用功能提供了一个自然语言界面，比如：创建和编辑照片、视频、PDF 等 控制 Chrome 浏览器进行搜索 绘制、清理和分析大型数据集。

自动化解析屏幕内容定位+识别，获取相关信息可以提供给后续大模型做处理，比如ai智能体。中文识别暂时不大支持。

用AI智能体自动处理完成任务。

参看：通过prompt形式，基本任何llm模型都可以使用来自定义agent，不用只能那些支持functioncall的大模型的，更灵活自由。

参看：大语言模型中 Prompt 的设计和优化方法，包括使用 Prompt 框架、提供输出样例、使用分隔符号区分内容单元以及引导模型 “思考” 等技巧。通过这些方法，可以提高大语言模型输出的有效性、相关性和稳定性，使其更好地满足用户的需求。

【代码】RAG新思路降低检索错误率：为文档划分的每个块进行大模型上下文构建。

暂时只能在linux ubuntu或mac上使用，因为windows、centos暂时不支持milvus_lite：https://github.com/milvus-io/milvus/issues/34854。

参考：运行：运行调用tools报错，qwen官方说会尽快修复增加 /ai/template.jinja 文件。

参考：https://qwenlm.github.io/zh/blog/qwen2.5/https://huggingface.co/Qwen/Qwen2.5-7B-Instruct下载：vllm部署：流式非流式

输入网址：https://www.galaxy-geely.com/E5。

下面prompt大概定义了4个函数，第一个算是system定义，中间二个是需要他执行的东西，最后一个是入口；另外测试claude使用较好，可以直接调用前端显示，svg图片下载，，deepseek效果一般。参考：https://web.okjike.com/originalPost/66e170618becdf39a1c19761。

【代码】qwen2 VL 多模态图文模型；图像、视频使用案例。

vllm 推理qwen gguf模型使用案例；openai接口调用、requests调用

参考：https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes?bnb=8-bithttps://www.atyun.com/57101.htmlhttps://huggingface.co/blog/4bit-transformers-bitsandbytesbitsandbytes错误参考：https://cnloong.blog.csdn.net/article/details/141607933使用q

参考：https://github.com/huggingface/peft##文档https://huggingface.co/docs/peft/indexhttps://www.wehelpwin.com/article/4299https://www.ethanzhang.xyz/2024/07/09/%E3%80%90%E4%B8%AA%E4%BA%BA%E5%8D%9A%E5%AE%A2%E3%80%91%E4%BD%BF%E7%94%A8huggingface%E5%9C%A8%E5%8

自定义agent，同时模型记得更换。多agent编排组织实现自定义功能。本文章windows平台测试。支持添加离线vllm模型。2）自定义agent。

参考：https://github.com/microsoft/autogenhttps://microsoft.github.io/autogen/docs/topics/non-openai-models/local-vllm安装：pyautogen-0.2.35openai-1.24.01） ollama2)vllm制定一个从哈尔滨去北京旅游5天的计划，我们可以按照以下日程进行规划：请根据个人兴趣和实际情况调整行程， 确保有充足的休息时间，同时关注天气 预报和交通状况，以确保旅行的顺利

https://metaso.cn/https://www.tiangong.cn/https://www.perplexity.ai/https://felo.ai/search

https://huggingface.co/spaces/Qwen/Qwen2-Math-Demo

参考：大概是通过agent方式区分步骤实现。

mamba属于非Transformer架构，参考：https://www.qbitai.com/2024/06/149893.html。transformers 暂时没合并，需要下载源码安装。测试下来gpu消耗，生成时间暂时也不快。

参考：https://ollama.com/blog/tool-support运行ollama0.3.5版本messages = [{“role”: “user”, “content”: “What’s the time and the weather like now in Hangzhou？”}]

参考：https://github.com/hiyouga/LLaMA-Factory启动https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md下载：https://huggingface.co/datasets/AISPIN/shiji-70liezhuan/tree/main把jsonl alpaca格式数据下载下来上传到：LLaMA-Factory/data文件夹下，更名为wenyanwen.jsonl修

3）如果大模型Function Call调用输出没有工具相关信息，就直接大模型输出结果。2）大模型Function Call自己判断内容属于哪个工具就去调用对应工具。1）写了两个function，一个是天气工具，一个是搜索工具。第一个正常调用天气工具后再大模型回答，第二个调用搜索工具后再大模型回答，第三个没有调用工具大模型自己回复。大模型用的deepseek。

【代码】OpenAI Function Call大模型agent工具调用简单案例。

根据上下句的语义相关性，相关就组合成一个分块，不相关就当场两个快。大模型用的deepseek。

参考：思路：通过大模型生成markdown内容，通过markdown去生成PPT技术：Marp（）这里用的这个工具进行markdown转PPT。

要使用 --enable_chunked_prefill --max_num_batched_tokens 8192 两个参数，不适用两张卡也不足。GLM-4-9B-Chat-1M 的模型仓库，支持1M上下文长度（100万）texts是加载的一个文档，大概2万多字。测试下来10万上下午没问题，两张卡。

参考：https://blog.csdn.net/weixin_42357472/article/details/137666022。

config配置文件里也可以看到一些模型信息，能输入识别长度max_position_embeddings或model_max_length=32768；max-model-len 长度可以最大填写模型config里max_position_embeddings=32768；测试下来两万多没有问题。texts测试读取pdf两万多个字输入模型测试。

参考：hl=zh-cn发布了两个型号9B\27B支持上下文长度有点短：4096。

参考：通过GPT模型原理，输入蛋白质序列等模态输出预测的蛋白质序列及结构。

float16与bfloat16加载空间需要差不多，差不多GPU需要15G多。GPU需要19G多，精度会高些32bit，空间大些。默认bfloat16。

参考：https://zhuanlan.zhihu.com/p/669661536https://www.douyin.com/video/7380126984573127945综合下来：topP一般给后续选择的空间比topK要多些https://www.douyin.com/video/7380324563369889061主要是在改变 softmax 生成解码token的概率上（所有词表每个词的可能概率）：正常softmax加速Temperature后的softmax每个指数除以t；e是自然是

参考：https://github.com/abi/screenshot-to-code。官网：https://screenshottocode.com/

diffusers 这里是官方上面有更改，参考：https://github.com/gojasper/flash-diffusion/blob/main/requirements.txt。参考：https://github.com/gojasper/flash-diffusion。生成速度是快很多，4090差不多3秒生成。

参考：https://github.com/naklecha/llama3-from-scratch（一定要看看）https://github.com/karpathy/build-nanogpt/blob/master/play.ipynb视频：https://www.youtube.com/watch?v=l8pRSuU81PU可以查看打印每层权重：

参考：https://qwenlm.github.io/zh/blog/qwen2/https://huggingface.co/Qwen下载的Qwen2-7B-Instruct使用：Qwen2-7B-Instruct比较相近模型：

包括微调（Axolotl、Llama-Factory、Firefly、Swift、XTuner）、量化（AutoGPTQ、AutoAWQ、NeuralCompressor）、部署（vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI）、本地运行（MLX、Llama.cpp、Ollama、LMStudio）、Agent及RAG（检索增强生成）框架（LlamaIndex, CrewAI, OpenDevin）、评测（LMSys,