- 博客(494)
- 收藏
- 关注
RSS订阅原创 大模型 | 揭秘RAG中的幻觉检测：多种方法全面基准测试，找出最优解！
在当前的 Retrieval-Augmented Generation (RAG) 应用中，幻觉问题依然是不可忽视的难题。模型生成的内容往往会出现与事实不符的情况，给用户带来困扰甚至误导。因此，如何有效检测并避免这些幻觉，成了关键研究方向。今天我们将深入评估 4 个主流 RAG 数据集中的几种流行幻觉检测器。
2024-09-21 10:30:00
560
原创 OpenAI o1大模型：提示词工程已死
OpenAI 最近发布了最新大模型 o1，通过强化学习训练来执行复杂的推理任务，o1 在多项基准测试中展现了博士级别的推理能力，甚至在某些情况下可以与人类专家相媲美。当你使用 o1 的时候，会发现文档中多了一项。翻译一下：这些模型在处理的提示词时表现最佳。一些提示词工程技术，比如或，可能不会提升性能，有时甚至会。：这些模型擅长理解和响应简洁清晰的指令，无需过多的指导。：由于这些模型在内部执行推理，提示它们“逐步思考”或“解释你的推理”是没有必要的。
2024-09-21 09:00:00
461
原创 向量数据库常见算法 | 八十二、KNN与近似KNN
在数据科学和机器学习领域，相似性度量是许多算法的基础。KNN（K-Nearest Neighbors）算法和近似KNN（Approximate K-Nearest Neighbors）算法都是用于数据点之间相似性度量的技术，但它们在计算效率和准确性方面有所不同。本文将详细介绍KNN和近似KNN算法的原理、优劣以及如何选择适合的应用场景。
2024-09-21 06:00:00
257
原创 大模型LLM入门到进阶 | 基准测试 Benchmark（三）什么是CV（计算机视觉）？计算机视觉基准测试
计算机视觉（Computer Vision, CV）是指计算机利用摄像机、图像传感器等设备获取图像或视频，并通过复杂的算法对这些图像或视频进行处理和分析，以实现对图像或视频中的物体、场景以及其属性的理解和识别的技术领域。
2024-09-20 09:00:00
464
原创 大模型LLM入门到进阶 | 基准测试 Benchmark（二）什么是NLP（自然语言处理）？自然语言处理基准测试
NLP使用了统计学、机器学习、深度学习等多种技术，通过处理大量的文本数据和语言规则，从而提取出语义、情感、信息等。
2024-09-20 08:00:00
525
原创 大模型LLM入门到进阶 | 基准测试 Benchmark（一）什么是基准测试？基准测试的核心要素是什么？
这些基准测试遵循标准化的流程，以评估LLM在核心语言处理任务上的表现。
2024-09-20 07:00:00
547
原创 向量数据库常见算法 | 八十一、搜索优化
搜索优化是指通过改进算法、数据结构或系统配置来提高向量数据库搜索效率的过程。在向量数据库中，搜索优化涉及到的算法和数据结构旨在减少查询时间，提高响应速度，并优化资源使用。
2024-09-20 06:00:00
412
原创 大模型LLM入门到进阶 | Dify学习使用（三）如何在Dify平台搭建Agent
在Dify平台上，通过选择模型、编写提示、添加工具与知识库、配置推理模式及对话开启器，最后进行调试预览并发布为Webapp，实现Agent的创建与部署。
2024-09-19 19:31:42
478
原创 大模型LLM入门到进阶 | Dify学习使用（二）如何将文档上传到Dify知识库构建RAG？
对于需要更精细控制的情况，可选择自定义模式进行手动调整。
2024-09-19 19:30:08
554
原创 大模型LLM入门到进阶 | Dify学习使用（一）什么是Dify？四种基于LLM构建的应用程序
Dify是一个开源的大语言模型（LLM）应用开发平台，旨在简化和加速生成式AI应用的创建和部署。该平台结合了后端即服务（Backend as Service, BaaS）和LLMOps的理念，为开发者提供了一个用户友好的界面和一系列强大的工具，使他们能够快速搭建生产级的AI应用。
2024-09-19 19:28:27
494
原创 向量数据库常见算法 | 八十、倒排索引
在信息检索和文本分析领域，倒排索引是一种关键的数据结构，它极大地提高了数据检索的效率。本文将详细介绍倒排索引的概念、原理、优势以及如何利用倒排索引进行高效的检索。
2024-09-19 06:00:00
448
原创 大模型 | 搞懂Embedding - Word2Vec（Skip-Gram和CBOW）
它能够将单词表示为高维空间中的密集向量，从而捕捉单词之间的语义和语法关系。Word2Vec主要包含两种模型：Skip-Gram（跳字模型）和CBOW（Continuous Bag of Words，连续词袋模型）。通过中心词预测上下文词汇，类似于“由点及面”的扩展；而CBOW则是利用上下文词汇预测中心词，类似于“由面定点”的填充。前者注重于从局部到整体的推理，后者则强调整体对局部的反映。
2024-09-18 11:32:45
1134
原创 深入解析LlamaIndex Workflows：构建复杂RAG与智能体工作流
面对多样的LLM应用需求，不管是主流如LangChain这样的基础开发框架，还是以云服务提供的低代码开发平台，都试图在提供基础组件抽象的基础上，提供更便捷的组装与编排这些组件的方式，以帮助构建更高级的AI工作流应用。。提供了一种与LangGraph不同、事件驱动的框架，以编排复杂的RAG或Agent应用工作流，支持灵活的分支、并行与循环等处理。
2024-09-18 11:05:51
974
原创 向量数据库常见算法 | 七十九、向量数据库与索引算法
索引算法则是向量数据库中的核心技术之一，它决定了数据库的检索效率和性能。本文将探讨向量数据库与索引算法的完美结合，以及它们在实际应用中的优势。
2024-09-18 10:33:45
889
原创 向量数据库常见算法 | 七十八、常用向量数据库以及类别
随着大数据时代的到来，向量数据库作为一种专门为存储和查询向量数据而设计的数据库系统，在机器学习和数据科学领域中发挥着重要作用。本文将介绍向量数据库的概念及其常见类别。
2024-09-17 11:30:00
1719
原创 文档切分常见算法 | 七十七、根据语义相似度来切分
在数字化时代，文档数据量呈爆炸式增长，如何高效地处理和分析这些文档数据成为了一个重要课题。传统的基于字符的切分方法在处理复杂文档时存在一定的局限性。因此，基于语义相似度的文档切分技术应运而生，为文档处理提供了一种新思路。本文将介绍这种技术的基本原理、应用场景及其在实际工作中的优势。
2024-09-16 11:30:00
876
原创 文档切分常见算法 | 七十六、根据递归字符来切分
在信息时代，大量的文档数据需要被处理和分析，以提取有价值的信息。然而，传统的手动文档处理方法效率低下，难以应对大规模的文档数据。为了解决这个问题，基于递归字符切分的文档处理技术应运而生。本文将介绍这种技术的基本原理、应用场景及其在实际工作中的优势。
2024-09-15 11:00:00
829
原创 神书《从零构建大型语言模型》分享，GitHub标星22k！！
从零构建大型语言模型》的作者是威斯康星大学麦迪逊分校的终身教授，在GitHub、油管、X上拥有大量粉丝，是一位真正的大佬。这本书在github已经吸引了惊人的21.7k标星！在本书中，我们将从内到外了解 LLM 的工作原理。通过清晰的文字、图表和实例，详细解释了构建大型语言模型的每一个阶段。从最初的设计和创建，到使用通用语料库进行预训练，直至针对特定任务进行微调，Sebastian Raschka以逐步指导的方式，带领读者深入了解LLM的内部工作原理。
2024-09-14 15:58:43
272
原创 大模型 | 关于GPT-5 训练失败的4点思考
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-13 10:08:17
890
原创 大模型 | RAG新范式MemLong：用于长文本生成的记忆增强检索
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-11 08:00:00
895
原创 大模型 | 自进化Agent：兼具反思与记忆增强能力
提出了一个创新框架——SAGE框架包括。通过整合迭代反馈、反思机制和基于艾宾浩斯遗忘曲线的记忆优化机制，显著提升了智能体处理多任务和长跨度信息的能力。智能体通过自进化能够适应性地调整策略、优化信息存储和传输，并有效减少认知负荷。【SAGE框架的示意图】：助手根据检查器的反馈不断优化输出，直到检查器认为输出正确或达到迭代限制。：助手分析任务成功和失败的经验，并将这些经验存储在记忆中，以便在未来任务中做出更好的决策。
2024-09-11 07:00:00
637
原创 开源大模型 | Open LLM集中爆发，卷疯了！
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-11 06:00:00
547
原创 大模型 | 一个全面、先进、公平且模块化的开源RAG框架
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-10 20:30:04
876
原创 大模型企业级RAG应用优化（二）：检索与生成阶段的8个必知技巧
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-10 20:24:14
1332
原创 大模型企业级RAG应用优化（一）：数据索引阶段的8个必知技巧
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-10 20:14:10
731
原创 大模型RAG优化策略总结（二）：利用向量数据库实现高效的 RAG、针对 RAG 的微调语言模型、实施高效的 RAG 管道
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-09 20:44:16
1520
原创 大模型RAG优化策略总结（一）：RAG 的基础、优化数据准备和索引、提高检索质量、掌握 RAG 的快速工程
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-09 20:43:04
686
原创 论文 | 基于大语言模型智能体的自主机器学习
文章介绍了一种名为MLR-Copilot的新框架，利用大型语言模型自动产生和实施机器学习研究的想法与实验，旨在提高研究效率和创新能力。论文题目： MLR-Copilot: Autonomous Machine Learning Research论文链接： https://arxiv.org/abs/2408.14033AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。
2024-09-09 20:35:40
844
原创 文档切分常见算法 | 七十四、根据固定字符数切分
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-08 11:00:00
497
原创 文档切分常见算法 | 七十三、根据每个Sentence切分
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-07 11:00:00
754
原创 RAG基础与架构 | 七十二、检索与生成
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-06 07:00:00
629
原创 RAG基础与架构 | 七十一、向量数据库
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-05 15:51:34
518
原创 2024大模型典型示范应用案例集：行业赋能、智能应用、生态服务（含PDF文档）
在当今快速发展的科技时代，人工智能领域正以前所未有的速度向前推进，其中大模型技术更是成为推动行业变革的关键力量。2024 年是大模型深入赋能千行百业，融入实体经济，助力科技创新的一年。截至今年 5 月，我国国产大模型的数量已经超过 300 个，预示着大模型在各行业场景的创新应用和深度拓展，对培育新质生产力、高水平赋能新型工业化、推动高质量发展发挥了重要作用。
2024-09-04 11:44:38
335
原创 大模型书籍推荐：大规模语言模型从理论到实践（含PDF免费）
书中详细讨论了每个阶段的算法、代码、数据、难点和实践经验。它从基础理论出发，讲解了预训练数据构建方法、大语言模型服从人类指令的原理，以及大语言模型的应用和评估方法。这本书既适合对大语言模型感兴趣的读者作为入门指南，也适合作为高年级本科生和研究生自然语言处理课程的补充教材。有需要这本《大规模语言模型从理论到实践》书籍PDF文档，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】
2024-09-03 11:05:58
373
原创 大模型书籍推荐：大模型黑书《基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理》（PDF版）
1.1 Transformer 的生态系统1.2 使用Transformer 优化NLP模型1.3 我们应该使用哪些资源1.4 本章小结1.5 练习题。
2024-09-02 17:21:12
1080
原创 RAG基础与架构 | 七十、RAG的经典结构与模块
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-02 07:00:00
1023
原创 RAG基础与架构 | 六十九、RAG的经典应用场景
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-09-01 07:00:00
502
原创 RAG基础与架构 | 六十八、为什么需要RAG？
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-08-31 22:07:01
918
原创 亚马逊科学家揭秘：如何用好大模型评估，提供几种有效性方法
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-08-30 21:38:48
1084
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人