AI工程仔
简单、清晰、实用,自用易查的文档记录/翻译,欢迎交流
展开
-
LLM - 模型参数设置
调整这些设置对于提高响应的可靠性非常重要,你可能需要进行一些实验才能找出适合您的用例的正确设置。越高,某个词再次出现的可能性就越小,这个设置通过给 重复数量多的 Token 设置更高的惩罚 来减少响应中单词的重复。:是对下一个生成的 token 进行惩罚,这个惩罚和 token 在响应和提示中出现的次数成比例。在我们开始一些基础示例之前,请记住最终生成的结果可能会和使用的大语言模型的版本而异。如果您希望模型生成多样化或创造性的文本,您可以设置更高的。,如果您希望模型生成更专注的内容,您可以设置更低的。原创 2024-05-01 17:12:02 · 256 阅读 · 0 评论 -
AutoGen - 多个Agent开发LLM应用的框架
用多个Agent开发LLM应用的框架,这些agent可相互交流以解决任务。伊织 2023-10-06。原创 2023-10-06 18:41:43 · 741 阅读 · 0 评论 -
CodeFuse - 蚂蚁集团开源代码大模型
关于 CodeFuse模型CodeFuse-13BCodeFuse-CodeLlama-34B-4bitsCodeFuse-CodeLlama-34BCodeFuse-StarCoder-15BMFTCoderFasterTransformer4CodeFuse原创 2023-10-06 15:45:00 · 497 阅读 · 0 评论 -
modelize.ai - 小记
Modelize.ai是一个AI agents和teams的创作平台,通过结合多元的agents以及工作流的衔接,让AI agents之间高效协同,达到一键式完成复杂工作的效果。公司的愿景是让AI打工人代替人类完成大量的工作,人类只需要管理AI teams,从而开创更轻松的生活。Modelize目前正在早期产品化的阶段,主要面向海外市场,已获得两轮顶级风险投资机构的融资。原创 2023-10-06 15:18:24 · 212 阅读 · 0 评论 -
Firefly-LLaMA2-Chinese - 开源中文LLaMA2大模型
7B与13B模型,最终参与训练的参数量分别约为612.9M和816.6M。对于每一条文本,进行tokenize之后,我们将会采用滑动窗口的形式截取训练数据,其中滑动窗口的长度为max_seq_length,滑动步长为window_step_size,我们舍弃小于min_seq_length的数据。当数据量非常大的时候,tokenize是个非常耗时的操作,因此我们将tokenize后的数据缓存在data_path/train.pkl中,当后续需要再次训练时,可直接读取该缓存,无需再次进行tokenize。原创 2023-10-06 10:33:13 · 267 阅读 · 0 评论 -
Firefly (流萤) - 中文对话式大语言模型
关于 Firefly模型列表中文模型英文模型训练数据模型训练数据格式全量参数微调QLoRA微调模型使用1、权重合并2、模型推理3、服务部署FAQ1、OOM如何解决?2、安装包错误3、是否支持DeepSpeed+QLoRA?4、如何指定使用某些卡训练?5、QLoRA微调ChatGLM2,显示找不到插入adapter的层6、训练Baichuan2失败局限性和使用限制生成效果原创 2023-10-06 10:23:01 · 1011 阅读 · 0 评论 -
StreamingLLM - 处理无限长度的输入
基于上述分析,我们介绍了StreamingLLM,这是一种有效的框架,使用有限长度注意力窗口训练的LLM 能够在没有任何微调的情况下推广到无限序列长度。Window attention,只缓存最新的KV,是一种自然的方法——但我们表明,当文本长度超过缓存大小时,它会失败。我们观察到一个有趣的现象,即注意力下沉,即保持初始 tokens 的KV,将在很大程度上恢复窗口注意力的表现。在流媒体应用程序(如多轮对话)中 部署大型语言模型(LLM)是迫切需要的,但这带来了两个主要挑战。原创 2023-10-06 09:53:00 · 359 阅读 · 0 评论 -
VisualGLM - 多模态中英双语对话语言模型
关于 VisualGLM背景: 多模态预训练背景: ChatGLM-6BVisualGLM-6B 训练微调不同微调方案需要的资源Lora merge原创 2023-10-03 22:07:13 · 578 阅读 · 0 评论 -
大模型微调概览
微调 和 高效微调高效微调技术方法概述高效微调方法一:LoRA高效微调方法二: Prefix Tuning高效微调方法三: Prompt Tuning高效微调方法四: P-Tuning v2基于强化学习的进阶微调方法RLHF 训练流程原创 2023-10-03 22:02:02 · 930 阅读 · 0 评论 -
OpenAI 大模型生态
这些模型提供了查找以下类别内容的分类功能:仇恨、仇恨/威胁、自残、性、性/未成年人、暴力和暴力/图片等。语言结构,映射到高维空间的向量中,使得语义上相近的词或者句子在向量空间中的距离也较近;审查模型: Moderation 模型, 旨在检查内容是否符合OpenAI的使用政策。未来 编程类大模型,可能会和语言类大模型 合并。多模态大模型,都是基于语言类 进行开发。OpenAI 模型列表。原创 2023-10-03 21:51:51 · 271 阅读 · 0 评论 -
Chinese-LLaMA-AIpaca 指令精调
1、合并Chinese-LLaMA-Plus-LoRA后的Chinese-LLaMA模型(如果继续训练Plus模型)下载 Chinese-LLaMA-Plus-7B 模型 (790M),转化为 huggingface 格式。1.1 合并HF格式的LLaMA模型与chinese_llama_plus_lora_7b模型。下载 chinese_llama_plus_lora_7b。建议 huggingface 和 pth 两种格式都进行转换。伊织 2023-09-26(周二)1.2 合并后检查(重要!原创 2023-09-26 17:44:18 · 696 阅读 · 0 评论 -
Chinese-LLaMA-AIpaca
适用于 Chinese-LLaMA, Chinese-LLaMA-Plus, Chinese-Alpaca。您也可以直接运行合并后的 chinese-alpaca-7b,相对加载两个权重推理速度会有较大的提升。下载 chinese-alpaca-lora-7b 拷贝到 loras 文件夹下。在不安装其他库或Python包的情况下快速体验模型效果,可以使用。,将原版LLaMA模型转换为HuggingFace格式。脚本将lora权重合并,那么无需再指定。接下来就可以愉快的运行了,参考。原创 2023-09-18 19:01:35 · 427 阅读 · 0 评论 -
PEFT 微调
伊织 2023-09-14。原创 2023-09-14 18:18:28 · 113 阅读 · 0 评论 -
pgvector - Postgres 向量相似度计算
一、关于 pgvector安装二、基本语法1、开始2、存储3、查询3.1 距离计算3.2 聚合4、索引查询选项Indexing Progress5、过滤6、混合搜索三、其它1、性能表现准确搜索近似搜索2、语言支持3、常见问题FAQ4、遇到的问题4、Reference1) 向量类型2) 向量运算符3) 向量方法4) 聚合方法5、Thanks四、安装/更新1、安装备注1) Postgres Location2) Missing Header3) Win翻译 2023-07-24 18:23:22 · 1332 阅读 · 0 评论 -
LVM-Med
一、关于 LVM-Med二、LVM-Med 预训练模型三、准备四、准备数据集1、For the Brain Tumor Dataset2、For VinDr3、Others五、下游任务1、Segmentation1.1 End-to-End SegmentationResNet-50 version2. Prompt-based Segmentation with ViT-Ba. Prompt-based segmentation with fined-tune decoder of转载 2023-07-12 16:28:04 · 375 阅读 · 0 评论 -
LLM 生成视频 - pika
然后点击 Start,在后续的页面依次填入信息即可。原创 2023-07-12 11:28:57 · 418 阅读 · 0 评论 -
MiniGPT-4
投影层(Projection Layer)是神经网络中常见层类型,将输入数据从一个空间映射到另一个空间。NLP中,投影层通常用于将高维词向量映射到低维空间,以减少模型参数数量和计算量。CV中,投影层可以将高维图像特征向量映射到低维空间,以便于后续处理和分析。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1Lmow9gv-1689089160700)(img/20230426215359.png)]先是在 4 个 A100 上用 500 万图文对训练。转载 2023-07-11 23:30:33 · 1932 阅读 · 1 评论 -
ChatGLM2-6B
此时可以使用量化后的模型 chatglm2-6b-int4。为了充分使用 CPU 并行,还需要。在主要评估LLM模型中文能力的 C-Eval 榜单中,截至6月25日 ChatGLM2 模型以 71.1 的分数位居 Rank 0 ,ChatGLM2-6B 模型以 51.7 的分数位居 Rank 6,是榜单上排名最高的开源模型。注:Chat 模型使用 zero-shot CoT (Chain-of-Thought) 的方法测试,Base 模型使用 few-shot answer-only 的方法测试。转载 2023-07-11 23:10:33 · 1511 阅读 · 0 评论 -
Linly
一、关于中文 Falcon & LLaMA & OpenLLaMA 大模型项目特点局限性News二、在线试用1、huggingface2、在线 API server三、模型下载1、Linly-Chinese-Falcon2、Linly-Chinese-LLaMA🤗 HuggingFace模型3、Linly-OpenLLaMA四、快速开始训练1、准备环境2、多轮对话3、Int8 推理加速4、微服务部署5、Gradio 本地 Demo6、Int4 CPU本地部署增量训练转载 2023-06-16 12:29:00 · 458 阅读 · 0 评论 -
ChatGLM-6B
壹、ChatGLM-6B一、介绍二、使用方式硬件需求环境安装代码调用Demo网页版 Demo命令行 DemoAPI部署低成本部署模型量化CPU 部署Mac 上的 GPU 加速高效参数微调局限性贰、 ChatGLM 微调一、介绍二、环境搭建1、conda 构建环境2.2 下载代码2.3 安装依赖三、使用方法1、训练数据下载2、模型下载3、模型训练4、模型推理5、生成结果分析6、模型部署叁、ChatGLM + LoRA 进行finetune一、前言二转载 2023-05-28 16:17:19 · 2150 阅读 · 0 评论 -
LangFlow - LangChain Web UI
关于 LangFlow安装测试运行部署1、Google Cloud Platform2、[Jina AI Cloud](https://github.com/jina-ai/langchain-serve)使用 API🎨 创建 Flows翻译 2023-05-20 19:58:45 · 2648 阅读 · 0 评论 -
LMFlow - 小记
因此,在依赖模型生成的结果之前,用户还必须了解与结果相关的风险和责任,并寻求法律、商业和技术建议。请注意,提供的gpt-neo-2.7b模型是相对较弱的模型,仅支持英文,并且有时会生成不理想的响应。请注意,提供的gpt-neo-2.7b模型是相对较弱的模型,仅支持英文,并且有时会生成不理想的响应。您可以使用它来构建各种类型的语言模型,包括对话模型、问答模型和文本生成模型等。我们很高兴地开源LMFlow代码库,其中包括了完整的大模型训练流程,能够快速、高效地训练和部署自己的语言模型。转载 2023-05-09 21:45:46 · 612 阅读 · 0 评论 -
LangChain
通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时,我们一般会进行对文章进行分段,比如通过 tiktoken 计算并分割,然后将各段发送给 api 进行总结,最后将各段的总结再进行一个全部的总结。如果,你用是 LangChain,他很好的帮我们处理了这个过程,使得我们编写代码变的非常简单。转载 2023-05-08 23:25:03 · 2140 阅读 · 1 评论 -
Open Chat Video Editor - 小记
具体实现上,加载StableDiffusion模型(stable-diffusion-2-1),然后根据传入的prompt进行图像生成。可以看到,文案被切分成了多个句子,后面会根据每个句子都检索或者生成一个图片,然后讲图片进行拼接,转换成一个视频。其次,以该text,接上基于检索和stablediffusion的图片生成、视频合并流程,生成对应的短视频文案。网页链接转短视频,指的是自动对网页的内容进行提取,生成视频文案,并生成短视频;短句转短视频,指的是根据输入的简短文字,生成短视频文案,并合成短视频;转载 2023-05-08 11:29:26 · 1026 阅读 · 3 评论 -
HuggingGPT - 小记
它就能帮你自动分析需要哪些AI模型,然后直接去调用HuggingFace上的相应模型,来帮你执行并完成。只要给定一个AI任务,例如“下面这张图片里有什么动物,每种有几只”。整个过程,你要做的就只是用自然语言将你的需求输出。可理解为:HuggingFace+ChatGPT。由浙大与微软亚研院的合作研发。转载 2023-04-25 11:46:57 · 189 阅读 · 0 评论 -
StableLM - 小记
Stability AI 的创始人 Emad Mostaque 自 2020 年从 OpenAI 团队离开后,一直秉承着开源开放的理念,持续推出了多款 AI 开源模型。在 GitHub 项目中,StableLM 提供了几个基础演示,包括聊天、撰写书信、小说创作、代码编写等功能,大家可以关注下。该模型的 Alpha 版本有 30 亿和 70 亿参数,并将于后续开放 150 亿和 650 亿的参数模型。StableLM,基础功能跟 GPT 一样,支持生成文本和代码,在未来可以给不少应用提供基础技术支持。转载 2023-04-25 11:37:43 · 139 阅读 · 0 评论 -
Stable Diffusion 1 - 初识跑通 文字生成图片
Stable Diffusion关于 Stable DiffusionLexica代码实现安装依赖库登陆 huggingface查看 huggingface token下载模型计算设置宽高测试迭代次数生成多列图片翻译 2023-02-14 18:11:16 · 1352 阅读 · 0 评论 -
大模型、AIGC 资源记录
专为医学问答和对话应用优化的大型语言模型,基于 Stanford Alpaca 和 AlpacaLoRA 扩展而来,采用多种医学文本训练,为医疗机器人提供开源的语言处理技术。利用大型语言模型与专家模型相结合解决复杂的多步骤任务,同时提出了LLM+RLTF方法,将强化学习应用于任务反馈中,提高模型的任务解决能力。JS版BabyAGI,使用GPT3.5和GPT4架构创建、优先处理和执行任务,与OpenAI的语言模型集成,能处理广泛的任务。AI 自动回复工具,支持灵活配置多个平台的监控和回答。转载 2023-04-19 18:37:44 · 1616 阅读 · 0 评论 -
ILLA Cloud + Hugging Face 调用 whisper
ILLA Cloud + Hugging Face 调用 whisper第一步:用组件搭建前端界面第二步:添加 Hugging Face 资源第三步:配置操作第四步:连接组件和操作用例与应用扩展应用结语转载 2023-04-11 07:50:02 · 201 阅读 · 0 评论 -
ColossalChat
ColossalChat关于 ColossalChat关于 RLHF什么是 ColossalChat 和 Coati ?在线 demo安装安装环境安装 Transformers使用监督数据集收集Stage1 - Supervised instructs tuningStage2 - Training reward modelStage3 -使用 RLHF 训练模型训练后 推理8-bit setup4-bit setupCoati7B examplesLLaMA 预训练模型限翻译 2023-04-10 19:53:38 · 150 阅读 · 0 评论