![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型AI
文章平均质量分 58
大模型算法、AI、GPT、LORA、agent等技术
loong_XL
这个作者很懒,什么都没留下…
展开
-
vllm 推理qwen gguf模型使用案例;openai接口调用、requests调用
vllm 推理qwen gguf模型使用案例;openai接口调用、requests调用原创 2024-08-29 11:51:26 · 25 阅读 · 0 评论 -
transformers quantization bitsandbytes实时量化方法使用load_in_4bit,load_in_8bit;量化模型保存及加载使用
参考:https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes?bnb=8-bithttps://www.atyun.com/57101.htmlhttps://huggingface.co/blog/4bit-transformers-bitsandbytesbitsandbytes错误参考:https://cnloong.blog.csdn.net/article/details/141607933使用q原创 2024-08-28 17:10:48 · 178 阅读 · 0 评论 -
PEFT qwen2 lora微调模型训练案例
参考:https://github.com/huggingface/peft##文档https://huggingface.co/docs/peft/indexhttps://www.wehelpwin.com/article/4299https://www.ethanzhang.xyz/2024/07/09/%E3%80%90%E4%B8%AA%E4%BA%BA%E5%8D%9A%E5%AE%A2%E3%80%91%E4%BD%BF%E7%94%A8huggingface%E5%9C%A8%E5%8原创 2024-08-28 09:26:58 · 706 阅读 · 0 评论 -
autogenstudio agents可视化编排使用
自定义agent,同时模型记得更换。多agent编排组织实现自定义功能。本文章windows平台测试。支持添加离线vllm模型。2)自定义agent。原创 2024-08-26 14:32:14 · 21 阅读 · 0 评论 -
autogen agent使用框架案例调用ollama、vllm模型接口
参考:https://github.com/microsoft/autogenhttps://microsoft.github.io/autogen/docs/topics/non-openai-models/local-vllm安装:pyautogen-0.2.35openai-1.24.01) ollama2)vllm制定一个从哈尔滨去北京旅游5天的计划,我们可以按照以下日程进行规划:请根据个人兴趣和实际情况调整行程, 确保有充足的休息时间,同时关注天气 预报和交通状况,以确保旅行的顺利原创 2024-08-23 11:20:40 · 156 阅读 · 0 评论 -
AI搜索产品:秘塔、天工、perplexity、felo、360AI搜索
https://metaso.cn/https://www.tiangong.cn/https://www.perplexity.ai/https://felo.ai/search原创 2024-08-21 22:56:47 · 327 阅读 · 0 评论 -
AI在线免费数学工具:Qwen2-Math
https://huggingface.co/spaces/Qwen/Qwen2-Math-Demo原创 2024-08-21 00:01:36 · 246 阅读 · 0 评论 -
LongWriter 大模型超长输出使用案例
参考:大概是通过agent方式区分步骤实现。原创 2024-08-15 14:15:17 · 56 阅读 · 0 评论 -
falcon7B mamba非Transformer架构大模型案例使用
mamba属于非Transformer架构,参考:https://www.qbitai.com/2024/06/149893.html。transformers 暂时没合并,需要下载源码安装。测试下来gpu消耗,生成时间暂时也不快。原创 2024-08-14 12:42:34 · 55 阅读 · 0 评论 -
ollama function call使用agent案例
参考:https://ollama.com/blog/tool-support运行ollama0.3.5版本messages = [{“role”: “user”, “content”: “What’s the time and the weather like now in Hangzhou?”}]原创 2024-08-13 15:51:14 · 133 阅读 · 0 评论 -
LLaMA-Factory 可视化界面qwen2 lora微调自有数据集使用案例
参考:https://github.com/hiyouga/LLaMA-Factory启动https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md下载:https://huggingface.co/datasets/AISPIN/shiji-70liezhuan/tree/main把jsonl alpaca格式数据下载下来上传到:LLaMA-Factory/data文件夹下,更名为wenyanwen.jsonl修原创 2024-08-13 10:08:10 · 203 阅读 · 0 评论 -
OpenAI Function Call实现大模型agent自己判断用工具、上网搜索或直接大模型回答案例
3)如果大模型Function Call调用输出没有工具相关信息,就直接大模型输出结果。2)大模型Function Call自己判断内容属于哪个工具就去调用对应工具。1)写了两个function,一个是天气工具,一个是搜索工具。第一个正常调用天气工具后再大模型回答,第二个调用搜索工具后再大模型回答,第三个没有调用工具大模型自己回复。大模型用的deepseek。原创 2024-08-04 16:33:32 · 202 阅读 · 0 评论 -
OpenAI Function Call大模型调用单个多个agent使用案例
【代码】OpenAI Function Call大模型agent工具调用简单案例。原创 2024-08-03 15:50:08 · 486 阅读 · 0 评论 -
LLM 大模型文档语义分块、微调数据集生成
根据上下句的语义相关性,相关就组合成一个分块,不相关就当场两个快。大模型用的deepseek。原创 2024-08-03 13:22:32 · 193 阅读 · 0 评论 -
LLM应用-prompt提示:让大模型总结生成PPT
参考:思路:通过大模型生成markdown内容,通过markdown去生成PPT技术:Marp()这里用的这个工具进行markdown转PPT。原创 2024-08-01 18:22:26 · 435 阅读 · 0 评论 -
chatglm4 支持更长内容输入model_max_length 128k;外推最大支持1M 100万
要使用 --enable_chunked_prefill --max_num_batched_tokens 8192 两个参数,不适用两张卡也不足。GLM-4-9B-Chat-1M 的模型仓库,支持1M上下文长度(100万)texts是加载的一个文档,大概2万多字。测试下来10万上下午没问题,两张卡。原创 2024-07-19 12:01:27 · 864 阅读 · 0 评论 -
ollama 模型显存常驻OLLAMA_KEEP_ALIVE;支持并发访问OLLAMA_NUM_PARALLEL;支持同时推理多个模型
参考:https://blog.csdn.net/weixin_42357472/article/details/137666022。原创 2024-07-01 12:46:59 · 1042 阅读 · 0 评论 -
qwen2 支持更长内容输入model_max_length 32k;外推最大支持128k
config配置文件里也可以看到一些模型信息,能输入识别长度max_position_embeddings或model_max_length=32768;max-model-len 长度可以最大填写模型config里max_position_embeddings=32768;测试下来两万多没有问题。texts测试读取pdf两万多个字输入模型测试。原创 2024-06-29 10:53:44 · 333 阅读 · 0 评论 -
gemma2 vllm和ollama推理部署;openai接口调用、requests调用
参考:hl=zh-cn发布了两个型号9B\27B支持上下文长度有点短:4096。原创 2024-06-29 10:24:11 · 327 阅读 · 0 评论 -
LLM生成大模型在生物蛋白质应用:ESM3、FoldToken、ProGen、ProtGPT2
参考:通过GPT模型原理,输入蛋白质序列等模态输出预测的蛋白质序列及结构。原创 2024-06-25 22:40:14 · 515 阅读 · 2 评论 -
transformers 不同精度float16、bfloat16、float32加载模型对比
float16与bfloat16加载空间需要差不多,差不多GPU需要15G多。GPU需要19G多,精度会高些32bit,空间大些。默认bfloat16。原创 2024-06-17 09:53:29 · 461 阅读 · 0 评论 -
大模型生成的常见Top-k、Top-p、Temperature参数
参考:https://zhuanlan.zhihu.com/p/669661536https://www.douyin.com/video/7380126984573127945综合下来:topP一般给后续选择的空间比topK要多些https://www.douyin.com/video/7380324563369889061主要是在改变 softmax 生成解码token的概率上(所有词表每个词的可能概率):正常softmax加速Temperature后的softmax每个指数除以t;e是自然是原创 2024-06-16 21:17:32 · 1165 阅读 · 0 评论 -
AI实时免费在线图片工具4:WordArt艺术字生成;IC-Light打光模型;screenshot to code图像直接生成网页
参考:https://github.com/abi/screenshot-to-code。官网:https://screenshottocode.com/原创 2024-06-11 22:17:04 · 309 阅读 · 0 评论 -
Flash Diffusion 加速文生图模型生成;Pixart-α加速测试
diffusers 这里是官方上面有更改,参考:https://github.com/gojasper/flash-diffusion/blob/main/requirements.txt。参考:https://github.com/gojasper/flash-diffusion。生成速度是快很多,4090差不多3秒生成。原创 2024-06-11 09:52:03 · 201 阅读 · 0 评论 -
gpt、llama大模型模型结构细节探索;LLM深度模型大模型transformer可视化
参考:https://github.com/naklecha/llama3-from-scratch(一定要看看)https://github.com/karpathy/build-nanogpt/blob/master/play.ipynb视频:https://www.youtube.com/watch?v=l8pRSuU81PU可以查看打印每层权重:原创 2024-06-10 10:35:31 · 785 阅读 · 0 评论 -
qwen2 vllm推理部署;openai接口调用、requests调用
参考:https://qwenlm.github.io/zh/blog/qwen2/https://huggingface.co/Qwen下载的Qwen2-7B-Instruct使用:Qwen2-7B-Instruct比较相近模型:原创 2024-06-07 09:36:19 · 1392 阅读 · 0 评论 -
大模型常见工程化工具:微调、量化、部署、Agent、RAG等
包括微调(Axolotl、Llama-Factory、Firefly、Swift、XTuner)、量化(AutoGPTQ、AutoAWQ、NeuralCompressor)、部署(vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI)、本地运行(MLX、Llama.cpp、Ollama、LMStudio)、Agent及RAG(检索增强生成)框架(LlamaIndex, CrewAI, OpenDevin)、评测(LMSys,原创 2024-06-07 09:18:13 · 1054 阅读 · 0 评论 -
vllm 大模型量化微调推理使用: lora、gptq、awq
AWQ\GPTQ量化模型运行方式(测试下来感觉GPU都会占满,4090卡不量化运行90 tokens/s,AWQ\GPTQ 版30左右 tokens/s)如果是用OPENAI包 model还是写 名称填的–lora-modules qwen-lora;不填这个默认vllm模型不会加载使用lora。如果是这个名称填的–lora-modules qwen-lora。原创 2024-06-06 19:17:11 · 669 阅读 · 0 评论 -
GLM-4-9B VLLM 推理使用;openai接口调用、requests调用
glm4 vllm openai原创 2024-06-06 16:54:13 · 511 阅读 · 0 评论 -
各大模型厂商API使用:百度、阿里、豆包、kimi、deepseek
文档:https://platform.deepseek.com/api-docs/zh-cn/创建应用即可获取key。原创 2024-05-22 09:43:20 · 1781 阅读 · 0 评论 -
paligemma、Grounding-DINO-1.5、Florence-2、EVF-SAM简单无需标注无需训练直接可以使用的识别、检测、分割大模型
参考:https://github.com/google-research/big_vision/blob/main/big_vision/configs/proj/paligemma/README.md。通过文字prompt既可与图片对话输出,下面是官方案例。prompt 文字输入用.间隔。文本与图像特征一起送入大模型。类似CLIP对比学习方式。原创 2024-05-20 10:31:20 · 404 阅读 · 0 评论 -
RAG 知识库对话页面streamlit实现;langchain文档总结概要
RAG知识库;向量模型用的bce-embedding-base_v1。大模型用的qwen(vllm推理)原创 2024-05-16 16:54:09 · 378 阅读 · 0 评论 -
LLM应用-联网搜索:生成搜索相关问题、生成回答格式包含参考资料
参考:https://isou.chat/(AI回答与相关问题都是根据问题的搜索引擎结果结合大模型生成的)prompt参考:https://github.com/yokingma/search_with_ai/blob/6d32aa8f05f5f6ee12b5204787035b3f7797c22a/src/prompt.ts#L8搜索引擎搜索的结构是json格式送入prompt的{id: index + 1,name: item.name,url: item.url,snippet:原创 2024-05-14 11:46:27 · 107 阅读 · 0 评论 -
LLM应用-prompt提示:让大模型总结生成思维导图
创建md文件然后右上角打开。原创 2024-05-14 10:46:05 · 577 阅读 · 0 评论 -
LLM应用-代码生成:AI代码助手插件
参考:https://blog.codegpt.co/free-and-private-copilot-the-future-of-coding-with-llms-in-vscode-372330c5b163。比如 ollama部署一个code模型,然后vscode上使用。腾讯云代码助手(内测中还没完全开放)codegeex (清华)iflycode(讯飞)comate(百度)lingma(阿里)原创 2024-05-02 10:58:35 · 282 阅读 · 0 评论 -
LLM应用-prompt提示:让大模型总结生成Mermaid流程图;充当角色输出
mermaid 美人鱼, 是一个类似 markdown,用文本语法来描述文档图形(流程图、 时序图、甘特图)的工具,您可以在文档中嵌入一段 mermaid 文本来生成 SVG 形式的图形。原创 2024-04-30 15:10:23 · 994 阅读 · 0 评论 -
国内外大模型LLM推荐分享
参考:https://zhuanlan.zhihu.com/p/638149613。原创 2024-04-26 09:10:41 · 572 阅读 · 0 评论 -
ragflow 大模型RAG知识库使用案例
支持丰富的文件类型,包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据, 网页等。注意:Docker >= 24.0.0 & Docker Compose >= v2.26.1。5、ip+端口(我这里8082)进入前端页面,需要注册账号才能进入,随便注册即可。1、如果启动时候端口冲突,可以自己进入yml进行修改端口。3、运行docker compose。这里也可以提前默认设置好相关模型。7、聊天(选择知识库与模型)6、进入后可以设置添加模型。原创 2024-04-18 15:03:38 · 1392 阅读 · 0 评论 -
LLM-TTS 大模型对话语音实时回复
1)推理用的vllm,参考https://blog.csdn.net/weixin_42357472/article/details/136165481。3)tts生成 edge_tts包,微软的需要联网。2)用的openai api LLM对话接口。4)电脑播放语音 playsound包。原创 2024-02-26 17:40:30 · 847 阅读 · 0 评论 -
qwen1.5 chat vllm推理使用案例;openai api接口使用
参考:https://github.com/QwenLM/Qwen1.5下载:https://huggingface.co/collections/Qwen/qwen15-65c0a2f577b1ecb76d786524。原创 2024-02-19 11:01:03 · 2002 阅读 · 0 评论