AIGC
文章平均质量分 75
多模态/LLM/AIGC
向日葵花籽儿
AI工程师:
NLP+AIGC+LLM+后端+DB(向量/非向量)
深度学习/算法优化/基础提升
Python/C++/(Java/JS/HTML)
近期专注内容:RAG | Langchain
展开
-
RAG vs 意图识别:AI领域的新较量
总的来说,RAG是一种增强语言模型回答能力的框架,它通过检索和利用外部知识来生成回答;意图识别是对话理解的一部分,它帮助系统理解用户的意图并作出相应的反应。两者的选择应基于具体的应用需求、系统设计和预期的用户交互方式。两者在构建交互式AI系统中扮演着不同但互补的角色。RAG适合于需要结合大量。原创 2024-05-29 17:47:04 · 1114 阅读 · 0 评论 -
【方便 | 重要】#LLM入门 | Agent | langchain | RAG # 3.7_代理Agent,使用langchain自带agent完成任务
在本节,我们将创建和使用自定义时间工具。LangChian tool 函数装饰器可以应用用于任何函数,将函数转化为LangChain 工具,使其成为代理可调用的工具。我们需要给函数加上非常详细的文档字符串, 使得代理知道在什么情况下、如何使用该函数/工具。比如下面的函数time,我们加上了详细的文档字符串。# 导入tool函数装饰器@tool"""返回今天的日期,用于任何需要知道今天日期的问题。输入应该总是一个空字符串,\这个函数将总是返回今天的日期,任何日期计算应该在这个函数之外进行。"""原创 2024-04-19 11:16:55 · 1149 阅读 · 0 评论 -
#langchain | RAG |富文本一致性解析 | NLP # langchain支持的9种PDF内容提取方式
【代码】#langchain | RAG |富文本一致性解析 | NLP # langchain支持的9种PDF内容提取方式。原创 2024-04-17 10:22:48 · 840 阅读 · 0 评论 -
# RAG | Langchain # Langchain RAG:打造Markdown文件的结构化分割解决方案
【文章简介】在信息技术快速发展的今天,有效处理和分析文本数据变得尤为重要。Markdown文件因其简洁性和可读性,在知识共享和文档编写中扮演着关键角色。然而,传统的文本分割方法未能充分利用Markdown的结构化特性,导致信息提取和知识理解的效率受限。本文提出一种基于Langchain的结构化分割方法,通过MarkdownHeaderTextSplitter工具,按标题层级精确分割文档,保留关键的结构和上下文信息,特别适合报告和教程等结构化文档。原创 2024-04-15 17:37:56 · 7891 阅读 · 2 评论 -
#VDB|RAG|AIGC#(含代码)向量检索工具FAISS的搭建和使用教程、经验分享
本文将依faiss使用全流程来教学gpu版的faiss如何使用。原创 2024-02-01 16:31:10 · 1419 阅读 · 0 评论 -
#RAG#llm时代-RAG各模块痛点总结及解决办法,强化rag认知
RAG相关目前遇到的痛点及解决流程原创 2024-01-31 17:56:35 · 834 阅读 · 0 评论 -
#资源#llm训练 获取数据集的网站
llm训练需要获取数据,互联网上会有一些别人开源的数据集,我们可以拿来即用原创 2024-01-27 11:43:28 · 407 阅读 · 0 评论 -
#NLP|Chunking|RAG|AIGC#文档拆分(Chunking)方法全流程总结
在构建RAG这类基于LLM的应用程序中,分块(chunking)是将大块文本分解成小段的过程。当我们使用LLM embedding内容时,这是一项必要的技术,可以帮助我们优化从向量数据库被召回的内容的准确性。在本文中,我们将探讨它是否以及如何帮助提高RAG应用程序的效率和准确性。在向量数据库(如:Pinecone)中索引的任何内容都需要首先Embedding。分块的主要原因是尽量减少我们Embedding内容的噪音。例如,在语义搜索中,我们索引一个文档语料库,每个文档包含一个特定主题的有价值的信息。转载 2024-01-23 09:51:49 · 1162 阅读 · 0 评论 -
# ext-to-speech|tts|voice-cloning|AIGC|多模态#【有图文部署】GPT-SoVits:上线一周就获得了4.1k star!效果炸裂的开源跨语言音色克隆模型!
GPT-SoVITS 是一款强大的支持少量语音转换、文本到语音的音色克隆模型。支持中文、英文、日文的语音推理。据开发者及各大博主测验,仅需提供 5 秒语音样本即可体验达到 80%~95% 像的声音克隆。若提供 1 分钟语音样本可以逼近真人的效果,且训练出高质量的 TTS 模型!项目地址:https://github.com/RVC-Boss/GPT-SoVITS目前已获得 4.1k Star,看到很多人对其评价为目前最强中文语音克隆工具。原创 2024-01-22 15:32:58 · 1790 阅读 · 2 评论 -
# AIGC应用 ## 深度学习#向量数据库知识问答前期操作:文档切割/文档向量/chatgpt + langchain| NLTK | BERT | text2vect |
本文是利用chatgpt + langchain| NLTK | BERT | text2vect |四种文档切割的效果测试研究,附上源码可以自己实践原创 2024-01-22 15:00:42 · 1244 阅读 · 0 评论 -
#AIGC#text2video文生视频,开源DragNUWA:通过集成文本、图像和轨迹对视频生成进行细粒度控制
DragNUWA 使用户能够直接操纵图像中的背景或对象,模型将这些动作无缝地转换为相机运动或对象运动,生成相应的视频。以拖动(drag)的方式给出运动轨迹,DragNUWA 是一个集成了文本、图像和轨迹控制的系统,可以从语义、空间和时间的角度实现可控的视频生成。该研究认为文本、图像、轨迹这三种类型的控制是缺一不可的。原创 2024-01-16 13:46:13 · 459 阅读 · 0 评论 -
#AIGC##VDB# 【一篇入门VDB】矢量数据库-从技术介绍到选型方向
矢量数据库,为复杂数据应用铺开未知领域。无论是语义搜索、推荐引擎还是人工智能,它在高效处理高维数据、改进搜索和提升机器学习集成等方面发挥关键作用。探索矢量数据库,解锁数据的全新可能性。原创 2024-01-15 17:03:21 · 1174 阅读 · 0 评论 -
#RAG##AIGC#检索增强生成 (RAG) 基本介绍和入门实操示例
RAG 将信息检索组件与文本生成器模型相结合。RAG 可以进行微调,并且可以有效地修改其内部知识,而无需重新训练整个模型。原创 2024-01-15 15:21:47 · 1590 阅读 · 0 评论 -
#LLMOps##AIGC# Dify_构建本地知识库问答应用-生成Al应用的创新引擎 用于构建助手API和GPT的开源开发平台
Dify 使快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。原创 2024-01-15 11:27:10 · 1756 阅读 · 0 评论 -
#AIGC##LLM##RAG# RAG:专补LLMs短板_减少LLM幻觉并多模态/RAG 技术最新进展
通过检索与生成目标相关的信息,来增强生成模型性能的技术。弥补LLMs“黑盒”导致的幻觉、信息来源单一、信息缺乏是时效性、模态单一、内容不透明不可追溯等短板。以便有效地控制成本并确保数据隐私的保护。原创 2024-01-15 10:22:16 · 1671 阅读 · 0 评论 -
#Prompt##提示词工程##AIGC##LLM# 学写Prompt 提示词 :使用大型预训练语言模型的关键考量
Baseline: 标准使用,无特殊策略。: 提供推理链的示例来帮助模型分步骤解决问题。Zero-CoT: 不提供示例,要求模型自发推理。**Auto-CoT:**内部进行推理但不显示全部过程的系统。Auto-CoT通常是通过训练过程中使用特定的数据集和训练策略来实现的,让模型学会在给出答案前先展现出解题的逻辑链条。: 添加说明以指导模型回答。+rawinst: 用户直接提供指导。“请按照五段式论文的格式回答以下问题…”+sysinst: 系统提供角色和任务说明。原创 2024-01-09 15:40:16 · 1129 阅读 · 0 评论 -
#向量# 词嵌入算法比较 Word2Vec GloVe FastText
特征Word2VecGloVeFastText训练方法神经网络统计方法神经网络 + 字符级别训练数据类型单词单词单词 + 字符优势可解释性、泛化能力强效率、可扩展性效率、准确性、通用性劣势训练时间较长可解释性较差训练数据量较少时效果较差原创 2024-01-09 15:11:11 · 391 阅读 · 0 评论 -
#深度学习# #AIGC# 全Python-AI学习路径 思维导图
需要整个思维导图的可以任意一篇文章三连后私信无偿领取!原创 2024-01-09 15:47:41 · 338 阅读 · 0 评论 -
#基础# 读论文方法
快速浏览,把握概要。读标题、摘要、结论、所有小标题和图表**精读:**选出精华,仔细阅读找出问中关键内容进行仔细阅读**总结:**总览全文,归纳总结总结文中创新点,关键点,启发点等重要信息。原创 2024-01-09 15:58:28 · 334 阅读 · 0 评论 -
【小问号】Python、Cython 和 Mojo 对比、思考、疑问
Mojo 还提供了一些额外的功能,例如并行处理和函数内联,这些功能可以进一步提高代码的性能。如果您需要提高 Python 应用的性能,并且易用性是关键,那么 Cython 是一个不错的选择。如果您需要最高性能的 Python 应用,并且可以承受学习曲线,那么 Mojo 是一个更好的选择。是一种面向性能的语言,它允许您将 Python 代码转换为 C 代码,然后编译为机器码。Cython 还提供了一些额外的功能,例如内存管理和类型检查,这些功能可以进一步提高代码的性能和安全性。原创 2024-01-11 03:30:00 · 529 阅读 · 1 评论 -
#NLP# 知识图谱入门知识,这一篇就够啦!
1 知识图谱基础知识2 知识图谱存储方法3 重点介绍Neo4j4 参考原创 2024-01-09 15:33:27 · 1135 阅读 · 0 评论 -
【大模型】使用OpenAI的ChatGPT进行智能对话
这个函数用于调用ChatGPT API并获取结果。它接受四个参数:api_key、org_id、data和model。其中,api_key是你的OpenAI API密钥,org_id是你的OpenAI组织ID,data是一个包含问题和文章内容的列表,model是你要使用的模型名称。在这个函数中,我们首先构造了API的URL和请求头,然后构造了请求的数据,包括模型名称、消息和温度。然后,我们使用requests.post发送POST请求,并获取响应。最后,我们解析响应的JSON数据,并返回。原创 2023-07-13 10:45:24 · 80 阅读 · 0 评论