LLM
文章平均质量分 60
小何才露尖尖角
任何时候,我对世界总有一个主观的先验判断,但是这个判断会随着世界的真实变化而随机修正,我对世界永远保持开放的态度--Thomas Bayes
展开
-
MoneyPrinterTurbo 安装使用流程
进入 MoneyPrinterTurbo 目录,复制 config.example.toml 并重命名为 config.toml,随后打开 config.toml。pexels_api_keys 和 moonshot_api_key 需要到对应官网申请。完成后打开 docker 客户端,点击8501:8501 即可跳转到webui页面。在 docker 安装目录执行以下命令显示隐藏文件夹。给出一段视频文案即可开始生成视频。执行命令打包,可能需要较长时间。试用前需要开启 VPN。原创 2024-09-17 11:07:57 · 314 阅读 · 0 评论 -
BPE原理及代码简单演示
BPE(Byte pair encoding)是对字节编码,BPE 算法是在 UTF-8 编码的字符串上运行的,所以它是“字节级”的。 理论上任何 UTF-8 编码的字符串都可以统一使用 BPE原创 2024-02-19 18:26:32 · 685 阅读 · 0 评论 -
GPT-SoVITS 测试
AutoDL地址:https://www.codewithgpu.com/i/RVC-Boss/GPT-SoVITS/GPT-SoVITS-Official。Blili 地址:https://www.bilibili.com/video/BV12g4y1m7Uw。GitHub地址:https://github.com/RVC-Boss/GPT-SoVITS。step2 创建好实例之后,进入命令行,输入命令。step4 完成之后,点击 tab 栏,随后选择公网地址打开,进入Web页面。step1 打开地址。原创 2024-01-27 20:34:37 · 3164 阅读 · 0 评论 -
拷贝 hugging face 仓库到 colab
【代码】拷贝 hugging face 仓库到 colab。原创 2024-01-16 11:24:54 · 783 阅读 · 0 评论 -
Amphion tts(Text to Speech) 语音合成
强烈推荐使用带 GPU 的 Ubuntu 或 Centos 系统运行,可以租一个比较便宜的机器实例运行原创 2023-12-29 16:55:00 · 709 阅读 · 0 评论 -
fill-in-the-middle(FIM) 实现与简单应用
传统训练的 GPT 模型只能根据前文内容预测后文内容,但有些应用比如代码生成器,需要我们给出上文和下文,使模型可以预测中间的内容,传统训练的 GPT 就不能完成这类任务。FIM 是一种新的训练技巧,使得 GPT 类模型能够根据上下问填充中间部分。调换 suffix 与 middle 位置,此为 PSM 模式。通过添加特殊 token, 使得训练数据包含上下文内容。传统训练的 GPT 只能根据上文预测下文。使用 FIM 训练的能够正确填充中间部分。另外还有 SPM 模型。原创 2023-12-20 21:11:30 · 2005 阅读 · 0 评论 -
本地运行大语言模型并可视化(Ollama+big-AGI方案)
其中 Ollama 目前只支持 Mac,LM Studio目前支持 Mac 和 Windows。该服务启动在 3000 端口:http://localhost:3000/ ,直接在浏览器中打开,界面窗口中 vendor 记得选择 ollama。命令行终端运行命令 ollama run llama2,该命令会下载 llama2 模型,随后运行这个模型,现在我们就可以在终端对话了。执行 npm install 可能报错: zsh: command not found: npm。查看是否安装成功:npm -v。原创 2023-12-16 18:20:55 · 3093 阅读 · 0 评论 -
关于提示词 Prompt
system:有助于设置助手的行为和人设,作为高层指令用于对话,能引导assistant的回答assistant:聊天模型user:用户temperature:控制模型输出的稳定度。值越小,模型针对相同输入的输出就越想同。值越大,针对相同输入,会有大概率输出不同结果原创 2023-07-29 16:31:28 · 1339 阅读 · 0 评论 -
理解LLM中的ReAct
large language models (LLMs)大语言模型在语义理解和交互式决策方面有着不错的表现。ReAct在一次交互中循环使用推理和行动两个操作解决复杂问题,推理即利用模型自身语义理解能力,行动则利用模型以外的能力(如计算、搜索最新消息,用户自定义的行动)。Observation:可以理解为从模型以外获取的信息(如查询的信息、计算的信息)Action:采取的行动,如:搜索Search,匹配最相近结果Lookup。Thought:模型利用已有信息进行推理。一个使用 ReAct 的例子。原创 2023-07-16 11:24:28 · 1726 阅读 · 0 评论 -
LangChain(6)构建用户自己的Agent
LangChain 中有一些可用的Agent内置工具,但在实际应用中我们可能需要编写自己的Agent。原创 2023-07-15 20:12:37 · 3083 阅读 · 2 评论 -
LangChain(5)Conversational Agents
Large Language Models (LLMs) 在语义知识方面表现不错,但也有一些不足,如:不能正确计算数学公式、无法获取最新知识新闻通过 Agents 可以赋予 LLMs 更多能力,让LLM能够计算、上网查询。原创 2023-07-15 15:16:16 · 2537 阅读 · 0 评论 -
LangChain(4)检索增强 Retrieval Augmentation
Large Language Models (LLMs) 的能力或者知识来自两方面:模型在训练时候的输入;模型训练好后以提示词方式输入到模型中的知识source knowledge。检索增强就是指后期输入到模型中的附加信息。原创 2023-07-15 12:18:21 · 2872 阅读 · 0 评论 -
LangChain(3)对话缓存方式 Conversational Memory
LLM 默认是无状态的,即询问当前的问题与上下文无关,当我们需要将多轮对话信息给到LLM 时,就需要使用缓存Memory。原创 2023-07-14 19:56:55 · 2863 阅读 · 0 评论 -
LangChain(2)提示工程 Prompt Engineering
提示一般包含如下部分:Instructions:整体结构,模型的人设External information:额外提供给模型的信息User input or query:用户输入的问题Output indicator:模型应该输出什么样的结果。原创 2023-07-13 21:25:05 · 3189 阅读 · 0 评论 -
LangChain(1)简介
LangChain 可包含的模块:Prompt templates: 提示模板Prompt templates are templates for different types of prompts. Like “chatbot” style templates, ELI5 question-answering, etcLLMs: 大语言模型Large language models like GPT-3, BLOOM, etcAgents: 代理,代理可以决定执行什么操作Agents use LL原创 2023-07-12 21:23:52 · 1064 阅读 · 0 评论