- 博客(625)
- 收藏
- 关注
RSS订阅原创 Anthropic分享RAG最佳实践：Contextual Retrieval！
对于不适合在上下文窗口内的知识库，RAG是典型的解决方案。RAG通过以下步骤预处理知识库：将知识库（文档的“语料库”）分解成较小的文本块，通常不超过几百个token；使用嵌入模型将这些块转换为编码意义的向量嵌入；将这些嵌入存储在允许按语义相似性搜索的向量数据库中。
2024-09-21 19:47:46
259
原创 跟AI大模型实时语音通话解决方案
语音是人类最自然便捷的沟通方式，语音交互大幅降低与 AI 对话的门槛。人们只需说出需求，AI 就能快速理解并反应，无需复杂的操作，都在简单的话语中。越来越多的AI智能助手应用在发展语音实时交流方面有显著成效。诸多领域出现 AI 实时语音创新应用，如 AI 社交陪伴、AI 口语学习、游戏 AI NPC 及 AI 呼叫中心等。这些应用既展现 AI 技术潜力，也体现人们对更自然、更丰富的 AI 交流体验的期望。
2024-09-20 20:05:10
976
原创 Nature Med | ChatGPT赋能疾病护理，大模型将如何变革医疗行业？
近日发表在Nature Medicine的文章《Integrated image-based deep learning and language models for primary diabetes care》针对糖尿病护理和视网膜病变筛查问题，结合类ChatGPT的语言大模型和基于眼底影像的图像模型提出一种综合性解决方案DeepDR-LLM。本文将对该方案进行解读，希望能够为各位读者的研究提供思路。引言糖尿病在全球范围内影响着超过5亿人，其中80%生活在中低收入国家。
2024-09-20 20:03:42
359
原创 一个包含15种大模型Agent技巧的项目开源
今天给大家分享一个开源仓库，仍然是来自老熟人@NirDiamant，他之前做的RAG的高级技巧仓库目前已经6K Star了。最近大神由做了一个Agent的综合仓库，今天才上新，感觉也要大火，第一天600 Star了！生成式 AI Agent目前是处于人工智能的最前沿，彻底改变了我们与 AI 技术交互和利用 AI 技术的方式。这个新的存储库期望指导大家完成智能体的开发过程，从基本的Agent实现到高级的Agent系统。从简单到高级，目前有15个step-by-step的notebook。
2024-09-19 19:54:59
931
原创 HybridRAG｜传统RAG集成GraphRAG的初步方案
在GraphRAG与标准RAG之间查询性能的表现会根据具体的应用场景有所不同，整体来看，两者之间的结果并无显著差异。因此，在选择使用GraphRAG还是标准RAG时，应基于具体的使用案例来决定。鉴于标准RAG具有较低的复杂性和成本优势，建议在初期测试阶段优先考虑使用标准RAG。然而，对于需要处理大规模文本以及要求更为详尽答案的情形，GraphRAG可能会带来更概括、更全面的答案。
2024-09-19 19:54:16
759
原创 Github 26k stars！从零构建大模型
Raschka曾担任威斯康星大学麦迪逊分校统计学助理教授（2018 年至 2025 年终身教授）。于 2022 年 1 月加入到 Lightning AI 初创公司。此外，还撰写了畅销书《Machine Learning with PyTorch and Scikit-Learn》、《Python Machine Learning》等著作。2024年9月，经过一年半的努力，《Build a Large Language Model (From Scratch)》出版，即从零构建一个大模型书籍。
2024-09-19 19:53:06
885
原创 GraphRAG新增文件会重新索引所有文件吗？探究缓存何时生效
GraphRAG索引消耗Token巨大，所以你可能会问？新增文件后，我之前的文件会不会重新索引一次啊？什么情况下会利用缓存呢？本文带你一探究竟。GraphRAG默认使用文件缓存，配置如下。当然你也可以考虑使用Azure云端的缓存。缓存放在cache目录下，并根据流程分为实体提取、总结描述、社区报告和文本嵌入四个部分，所以缓存基本涵盖了所有涉及LLM调用或者Embedding调用的部分。缓存的文件名类似，tag和hash值组合而成。缓存的内容是什么呢？
2024-09-18 20:41:06
1027
原创 解决时间序列预测中的预测延迟问题，实现更精准的金融和天气趋势预测
时间序列预测在经济分析、气象等领域至关重要，传统模型多基于均方误差（MSE）训练。MSE训练导致预测延迟，即真实值在预测之前，影响金融和天气预测的实用性。本文提出一种新方法，通过基于神经常微分方程（NODE）的连续时间门控递归单元（GRU）来减少预测延迟。该方法通过时间导数正则化来优化GRU架构，提升了MSE、动态时间规整（DTW）和时间扭曲指数（TDI）等指标。实验表明，该方法在多种数据集上具有较低的预测延迟。
2024-09-18 20:21:05
928
原创 OpenAI o1背后的技术：LLM的快思考与慢思考路线之MCTS
如果evaluation-function能够估计 或者 ，则可以使用 MCTS-，反之，则需要rollout并基于terminal-node的reward（只能利用最后输赢的reward更新节点reward）。该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
2024-09-18 20:18:57
818
原创 基于AI知识库RAG的综合窗口智能助手
我们看到电子政务网上大厅综合窗口接件基于RAG实现准确智能助手。RAG技术在多个领域具有广泛的应用前景，包括但不限于问答系统、文本摘要、对话系统、企业信息库建设、AI文档问答、业务培训、科研等场景。通过结合检索和生成两种技术，RAG技术为这些领域提供了更加高效、准确和可靠的解决方案。
2024-09-18 20:16:58
1194
原创 GRATCR：使用数据高效的预训练模型生成表位特异性TCR序列
TCR在许多靶向肿瘤细胞的免疫疗法中发挥着至关重要的作用。然而，它们的获取和优化带来了重大挑战，涉及费力且耗时的湿实验资源。深度生成模型在功能性蛋白质序列生成方面表现出显著的能力，为增强特异性TCR序列的获取提供了有前途的解决方案。在这里，上海交通大学熊毅研究团队**提出GRATCR，这是一个通过新型“嫁接”策略整合了两个预先训练的模块的框架，以从头生成靶向特定表位的TCR序列。**实验结果表明，与最先进的模型相比，通过使用明显更少的训练数据，。
2024-09-17 10:45:00
745
原创 DsRAG：新开源的高级RAG分块技巧！
今天给大家分享一个新的策略，称为DS-RAG。一个不好的分块，会带来很多的问题，比如说以下几点：代称，他/她等表示响应的主题，刚好被切分在单独的块中，影响召回单个块可能不包含完整的答案块，答案可能包含在连续的几个块中块可能仅在某种特定上下文中才有意义等等。。。解决方案有2种：在每个块添加上下文头，将更高级别的信息补充在文档块开头（例如将文档标题，摘要放在每个块的开头）从块到段 chunk -> segments。
2024-09-16 10:45:00
585
原创 AI人工智能赋能高等教育：揭秘6种颠覆传统教学方式的AI应用案例
随着人工智能（AI）技术的飞速发展，其在高等教育领域的应用也越来越广泛。AI不仅能够提高教育效率，还能够改变传统的教学模式，为学生提供更加个性化和互动的学习体验。以下是六种AI在高等教育中的应用案例，它们正在颠覆传统的教学方式。智能辅导系统（Intelligent Tutoring Systems, ITS）是一种基于AI的教育软件，它能够根据学生的学习进度和能力提供个性化的指导。这种系统通过分析学生的答题情况和学习习惯，为他们推荐适合的学习材料和练习题，从而帮助学生更有效地掌握知识点。
2024-09-15 10:45:00
1575
原创 AI语音大模型架构技术深度分析 2024
图 2.3-1 语音大模型概况随着语音技术的发展，在有标注的训练数据充足的情况下，使用深度神经网络训练语音识别等任务上已经能够取得非常好的性能；但是现实中有标注的训练数据获取的成本很高，在一些低资源的任务场景也很难获取足够多的有标注训练数据。基于此背景，近些年来研究者们致力于从大量没有标签的数据中预先学习有效的语音特征，使模型学习到语音更深层次的特征表达，从而在低资源的下游语音任务中摆脱对训练数据量的依赖，并且获取更好的性能。
2024-09-14 18:03:23
1269
原创 Qwen2_Audio语音大模型来啦！语音内容分析、情绪分析、语言翻译轻松拿捏！手把手带你实操部署让其扮演翻译官、情绪安抚师~
最近阿里基于Qwen2系列陆续开源一系列垂直领域的大模型，例如Qwen2_Math数学大模型[阿里重磅开源Qwen2_Math!实操利用onnxocr+Qwen2_Math打造【AI数学老师助手】来给小孩辅导数学作业!在8月9号，阿里又重磅开源了Qwen2-Audio语音大模型，它能够接受音频和文本输入并生成文本输出。Qwen2-Audio具有以下特点：1.语音聊天：用户可以使用语音向音频-语言模型发出指令，无需自动语音识别（ASR）模块。
2024-09-14 17:05:33
936
原创 认识GraphRAG、理论结合案例剖析
依赖：LLM将提取到的元素实例进一步总结为单一的描述性文本块。虽然在提取过程中可能会出现格式不一致的问题，但通过社区检测和LLM的理解能力，可以确保生成的图结构仍然可靠。此外，使用丰富的描述性文本适应了LLM的能力和全局性查询的需求，使得这种方法与传统的知识图谱不同。输入：["丫鬟是贾府中的人物，她们在贾府中侍候，执行各种家务任务。", "丫鬟是贾府中的女仆，负责传递消息和照顾府中的人。"]`在贾府中，丫鬟们作为女仆，扮演着至关重要的角色。
2024-09-13 20:02:10
849
原创 学会区分大模型——大模型的分类，让你更清晰的认识大模型
现在市面上大模型如百花齐放，对很多人来说一堆大模型带来的不是简单方便，而是乱七八糟以及迷茫。因为不知道不同的大模型之间有什么区别，也不知道自己需要什么样的大模型；就拿huggingface来说，上面的模型有几十万，有几个人能弄明白它们都是干什么的？因此，我们首先需要学会的就是大模型的分类，对大模型分门别类之后就知道哪些大模型是做什么的，自己需要的是什么了。
2024-09-13 19:59:34
1156
原创 超强总结！十大数据预处理技巧 ！！
数据预处理 确保输入数据的质量直接影响模型的性能。。没有良好的数据预处理，即使是最复杂的模型也难以达到理想效果。涉及到的十个数据预处理的方法：数据清洗数据标准化数据编码特征选择特征缩放降维数据拆分数据增强数据平衡数据转换通过理论和案例，详细和大家聊聊~
2024-09-12 20:17:15
1265
原创 微软新推出的开源 Phi 3.5 视觉模型在 OCR/文本提取方面非常出色
微软新推出的开源 Phi 3.5 视觉模型在 OCR/文本提取方面非常出色 — 甚至包括手写。还能用来提取表格数据。
2024-09-12 20:15:38
870
原创 代码角度，深度解析 Qwen2-VL 模型结构
快速开始，接下来我会简单说说 Qwen2-VL 整体结构当中的几个关键的细节。帮助大家快速理解Qwen2-VL结构和其他网络结构的不同。
2024-09-12 20:14:44
1000
原创 ECCV2024｜GalLoP：多模态提示学习——视觉-语言模型的全局和局部提示
提示学习已被广泛采用来有效地适应视觉语言模型（VLM），例如CLIP，用于少量图像分类。尽管取得了成功，但大多数学习方法都需要在分类准确性和鲁棒性之间进行权衡，例如用于域泛化或分布外（OOD）检测。作者引入了全局局部提示（GalLoP），利用全局和局部视觉特征来学习多种不同的提示。局部提示的训练依赖于具有增强的视觉文本对齐的局部特征。为了仅关注相关特征，这种局部对齐与局部特征选择中的稀疏策略相结合。此外，使用新的“提示dropout”技术和局部提示的多尺度策略来强制提示集的多样性。
2024-09-11 20:12:14
1092
原创 最新热点！融合创新！Transformer+并行网络：局部特征+全局特征；时序特征+空间特征！小白也会用的分类预测程序！
Transformer模型是当前预测领域的热门模型，但在故障识别即分类领域尚缺乏相关文献，更别说其改进模型了，的必定是创新性极高的发文方向，且这方面的文献极度稀缺，可以说一投就中。本程序结合上述3篇文献，并对其进行多重改进创新！！！提出基于数据预处理方面参考文献三，利用相空间重构法将一维波形转化为二维图像；图像特征提取方面参考文献一：搭建用于提取递归图的空间特征故障识别模型结构参考文献二：构造故障识别程序文献一解读。
2024-09-11 20:11:13
1062
原创 还在死磕AI咒语？北大-百川搞了个自动提示工程系统PAS
基于 Transformer 架构的大语言模型正在各个领域取得突破性成果。提示词工程（Prompt Engineering）在其中的角色至关重要。用好提示词，研究人员和开发者能够引导模型在特定任务上表现得更优秀。这种方法不仅能够显著提升模型的性能，还能够增强模型的适应性，使其在面对各种复杂任务时更加灵活和高效。此外，提示词工程还能优化模型的学习过程，提高复杂问题处理效率，减少训练时间和计算资源需求。相较于传统的微调方法，提示词工程能以极低成本使模型适应多个下游任务，大幅节省计算资源和数据收集成本。
2024-09-11 20:08:49
819
原创 多模态大模型综述
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
2024-09-11 20:07:27
970
原创 我花了二周时间整合了一个数字人合成系统
先说下为什么做这个系统。当前市面上有不少的数字人合成系统，但是他们的做法基本上都是缝合了若干个开源系统。比如数字人形象生成整合了Easy- wav2lip，Wav2lip-HD，MuseTalk，DH-Live等系统。要知道目前开源的数字形象系统没一个能商用的，整合再多的也无济于事，而且每一个系统的资源开销占用都超出了普通电脑的负载能力，更别说一下子整合这么多系统。
2024-09-09 20:04:54
835
原创 微调框架Llama-factory和Unsloth：应该选择哪个？
测试表明，UNSLOTH和LLAMA-FACTORY在社区支持、模型种类和易用性上相近，但UNSLOTH在微调速度上表现突出。尽管处理的数据量是LLAMA-FACTORY的20倍，UNSLOTH的速度仍快约10倍，极大优化了时间成本，尤其在大规模数据处理中的效率优势显著。
2024-09-09 20:04:05
1021
原创 最佳实践｜本地跑GraphRAG
为在本地环境中部署GraphRAG，需配置两种模型：一是用于实体提取与摘要的，二是用于数据向量化的。当前，GraphRAG采用的是OpenAI提供的模型，故部署的核心在于选用兼容OpenAI API标准的模型以实现替代。今天带大家一起沉浸式体验，并且在支持中文graph构建上做了一些优化改进。
2024-09-09 20:02:46
1120
原创 基于Transformer的外汇股票市场价格预测（Part1，Python）
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
2024-09-08 10:45:00
554
原创 Github 88.8k Stars 一款可以本地部署多款大模型软件
Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。Ollama 本身就有多款大模型可以下载，但是要根据自己的电脑下载对应配置的参数。预构建模型库：包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。您应该至少有 8 GB 的 RAM 来运行 7B 型号，16 GB 的 RAM 来运行 13B 型号，32 GB 的 RAM 来运行 33B 型号。
2024-09-07 10:45:00
717
原创 基于LaMA-Factory微调llama3.1-8B
大模型的训练目前主要分为和，受限于资源算力等原因，实际工作中更多用到的是。对于普通用户来说SFT仍然具备较高的门槛，需要了解一定的理论基础，准备用于微调的数据，由于不同基座模型相应的微调方法也不一样，需要对超参数优化等其他问题这里推荐使用LaMA-Factory支持多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
2024-09-06 20:39:53
998
原创 科学大语言模型及其在科学发现中的应用
大型语言模型（LLMs）的出现为自然语言处理（NLP）带来了一种新的范式，即用对各种问题都相当有效的统一模型取代为每项任务设计的专门模型。在科学领域，这种范式不仅重塑了人们处理自然语言相关任务（如科学论文、医疗记录和气候报告）的策略，还激发了人们处理其他类型数据（如分子、蛋白质、表格和元数据）的类似想法。除了理解现有的科学数据，LLMs 还显示出通过生成、规划等加速科学发现的潜力。鉴于 LLM 在不同科学领域的广泛而深远的影响，有必要全面回顾这方面的相关工作。
2024-09-06 20:38:28
1112
原创 kotaemon核心GraphRAG、Agent、多模态代码解读！
要说最近RAG方面火热的项目当属，短时间暴涨8k star的亮点是可定制化，核心技术点是混合索引（Vector、Keyword、）、复杂推理（ReAct、ReWOO、MemoryGIST 和 GraphReader）、。混合索引（GraphRAG）混合索引主要是指：全文和矢量融合，这里还有一个选型就是集成了RAG的新范式：GraphRAG看代码直接用的微软GraphRAG检索后重排采用LLMReranker复杂推理Agent推理目前主要实现了与。
2024-09-06 20:01:36
664
原创 Mini-Omni：首个开源实时语音交互模型，边听边说边思考，延迟比GPT-4o还要低
Mini-Omni是一个开源多模态大型语言模型，具备实时对话能力和端到端的语音输入输出功能。通过独特的文本指导并行生成方法，实现了与文本能力一致的语音推理输出，仅需极少的额外数据和模块。Mini-Omni还引入了一种“任何模型都能说话”的创新方法，通过最小的训练和修改，快速地将其他模型的文本处理能力转换为语音交互能力。
2024-09-05 19:50:26
842
原创 超级Prompt：几行乱码让大模型获得科学思维，这个神奇的提示词突然火了
起猛了？不过两三天的时间，仅有两个 Markdown 文件的 GitHub 项目为何竟能收获 2k star？仔细一看，其中一个 Markdown 文件是一个流程图，另一个 Readme 文件的主要内容则是一大篇大模型提示词（prompt。而如果你细读这个 prompt，却发现里面仅有寥寥数句人类能懂的话，其余都是一些奇怪的 XML 标签、符号与函数定义。大模型也要有自己的 Magic number 了？
2024-09-05 19:49:30
998
原创 重大突破！谷歌DeepMind展示GenRM技术：AI推理能力的新里程碑
GenRM技术的核心在于将验证过程重新定义为一个**生成任务，**具体来说是将其视为下一个标记预测问题，使AI能够更自然地利用其文本生成能力。该技术还支持。
2024-09-05 19:47:43
702
原创 RAG 应用效果不太理想？试试以下RAG优化策略大幅提升问答效果
自从2022年12月 ChatGPT 横空面世以来，AI 领域获得了十足的关注和资本，其实AI的概念在早些年也火过一波，本轮 AI 热潮相比于之前的 AI，最大的区别在于：生成式。通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型，称之为大语言模型。GPT、LLaMA、Mistral、BERT等都是LLM，LLM是对训练文本信息的压缩，同时拥有了泛化能力，不同于数据库和搜索引擎，LLM能创造性地生成历史上没有出现过的文本内容。
2024-09-04 20:34:25
984
原创 大模型之提示词工程原理——提示学习(prompt learning)
知其然也要知其所以然，为什么会有提示词工程？了解和使用过大模型的人应该都知道提示词工程，即使不了解提示词工程，至少也应该听说过，提示词工程说白了就是一种和大模型交流的方法，它的作用就是让大模型更好的理解人类的需求。而且在网上很多关于大模型提示词的文章和视频中，都提到了提示词的质量能够直接影响到大模型的性能和推理效果。但很少有人能明白这是为什么？为什么不同的提示词会产生完全不同的效果。今天我们就来透过现象看本质，深入了解一下提示词工程。。
2024-09-04 20:33:17
973
原创 2万字长文，如何成为一个“懂”AI 的产品经理？
坦率来说 2024 年围绕大模型，产品的发展速度比之前预期的要低一些，比如在 BI 领域，Chat BI 声量很大，但落地下来效果并不好，这个也很正常，因为每个人总是会在短期内高估技术带来的价值，而在长期范围低估技术带来的价值。这里面有客观的原因，一项技术基底在真的应用到行业的方方面面本身就是需要过程的，因为这项技术需要去和原本的实现方案做竞争，就像俞军给的知名的需求公式：用户价值= 新体验– 旧体验– 替换成本。很多时候即使用了新技术，收益可能也没有想象的那么大，这是一个事实。
2024-09-04 19:57:43
2011
原创 LLM+推理决策(8) | 当大语言模型遇上路径规划问题 (TSP/CVRP)
结合标题可知，这篇文章的重点是使用LLM求解机器人的路径规划问题。路径规划在日常生活中普遍存在且有多种形式：规划2个地点之间的路径：比如周末要与朋友前往一家新店聚餐，往往需要借助地图APP提前规划好路线；规划多个地点之间的路径：比较具有代表性的是旅行商问题（简称TSP）。如下图所示，TSP问题是指一个旅行商需要依次访问N个城市，启程之前旅行商需要规划好路径且需要满足【每个城市只访问1次&最终回到起点】的要求。此外，为了降低成本，旅行商致力于构建出1条总里程最短的路径；
2024-09-04 19:55:41
782
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人