- 博客(92)
- 收藏
- 关注
RSS订阅原创 Retrieval Augmented Generation (RAG): A Comprehensive Visual Walkthrough
Retrieval Augmented Generation (RAG): A Comprehensive Visual Walkthrough
2024-06-22 23:52:28
83
原创 RAG优化
RAG（检索增强生成）的优化策略主要包括数据清洗、分块处理、嵌入模型的使用、预检索优化、检索和后检索流程的优化，以及高级优化技术如查询环节优化、检索环节的优化、融合或混合搜索、多种切分方式并行查询、rerank、以及模型微调等。检索环节的优化：采用总分层级索引、父子层级索引、融合或混合搜索、多种切分方式并行查询等方法，提高检索的准确性和稳健性。检索和后检索流程优化：通过有效的查询转换和提示工程技术，增强RAG工作流程的每个组成部分。
2024-06-22 21:31:49
168
原创 大模型应用开发-向量数据库选型
FAISS：适合需要高性能和低延迟的场景，但实现较为复杂。Annoy：轻量级、适合读取多于写入的场景，但不支持动态更新。HNSW：性能优越，特别适合高维数据，并且支持动态更新。Milvus：企业级解决方案，支持多种索引和动态数据管理，适合大规模分布式环境。Pinecone：全托管服务，易于使用和管理，适合快速部署需求。Weaviate：支持语义搜索和知识图谱，适合复杂的数据集成场景。根据具体的应用需求选择合适的向量数据库，可以显著提升系统的性能和效率。
2024-06-21 11:00:26
309
原创 django网站前端开发-上传文件
通过以上步骤，您已经在 Django 项目中创建了一个允许用户上传 PDF 文档的功能。用户可以通过点击上传按钮选择文件，并将文件上传到服务器。上传的文件将保存在指定的目录中。django在做网站前端开发时，在网页上嵌入一个上传pdf文档的按钮，点击该按钮，弹出选择文件。
2024-06-20 22:33:18
933
原创 chromadb
Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain、LlamaIndex等知名LLM框架组合使用。
2024-06-20 15:56:37
501
原创 RAG项目工期
term , 向量 ， 大模型。第一期，基于term的检索，大模型生成。上传pdf，一键解析，上传多个pdf。第三期，使用向量检索，向量数据库选型。第二期，搭建前端界面，落地。
2024-06-18 17:59:46
181
原创 Llama2微调
https://huggingface.co/meta-llama/Llama-2-7b-hfhttps://huggingface.co/meta-llama/Meta-Llama-3-8BLlama3微调教程：超简单，人人都可以打造属于自己的GPT！
2024-06-13 22:29:53
278
原创 基于RAG的论文信息检索(1)-term召回
有一篇中文论文，结合论文信息和大模型的生成能力，搭建一个RAG模型，向模型提问关于该论文的一些问题，模型给出答案。elasticsearch/openai/RAG/Prompt/大模型外部知识库从pdf格式的论文中提取，大模型使用的是kimi,调用kimi api,外部知识以prompt的形式输入大模型，大模型综合用户提问和检索结果，生成答案。下面以本人硕士毕业论文做测试。
2024-06-13 00:10:39
761
原创 大模型快速私有化工具ollama
ollama目前支持的模型：https://ollama.com/library。Ollama 提供了一种在本地运行大语言模型（LLMs）的方法。ollama官网：https://ollama.com/
2024-06-11 11:51:27
294
原创 Moonshot AI API使用(3)-ChatGPT和kimi对比
使用关于歌手李健的一些问答，进行对比。整体感觉ChatGPT思维更清晰，逻辑更严谨，总结概括能力更强。
2024-06-10 10:44:10
1091
原创 常见的自然语言处理任务
情感分析(sentiment-analysis)：对给定的文本分析其情感极性文本生成(text-generation)：根据给定的文本进行生成命名实体识别(ner)：标记句子中的实体阅读理解(question-answering)：给定上下文与问题，从上下文中抽取答案掩码填充(fill-mask)：填充给定文本中的掩码词文本摘要(summarization)：生成一段长文本的摘要机器翻译(translation)：将文本翻译成另一种语言特征提取(feature-extraction)：生成给
2024-06-07 20:38:46
86
原创 Moonshot AI API使用(2)-环境变量配置和简单对话demo
api key有多种使用方式，添加环境变量这种是最安全的，强烈推荐！在打开的文件中添加下面两行。
2024-06-07 15:57:15
450
原创 让大模型成为你的得力助手(3)-OpenAI API
Chat API：多轮对话，但可以用对话逻辑完成任何任务，包括续写文本。Completion API：续写文本，多用于补全场景。其它大模型的 API 基本都是参考 OpenAI，只有细节上稍有不同。有的大模型只提供 Chat。
2024-06-07 14:50:00
165
原创 elasticsearch安装与使用(3)-索引库可视化
把新建的index_test倒排索引库可视化Stack Management->Index Management，查看新建的倒排索引库index_testDiscover。
2024-06-05 13:06:14
443
1
原创 elasticsearch安装与使用(2)-基于term匹配的简单搜索引擎搭建
把一篇pdf论文解析后，放入es数据库中，建立倒排索引表，并实现简单搜索。
2024-06-05 12:15:51
725
2
原创 elasticsearch安装与使用(1)-使用docker安装Elasticsearch
通过Kibana可以可视化的管理es数据库里的数据。密码：N-sf6R*O0Ur344otTfzc。注意证书，证书从容器中复制出来后，我存放在。注意用户名密码最好加上双引号。用户名：elastic。
2024-06-04 18:16:08
447
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人