- 博客(625)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 增强学习和蒙特卡洛树搜索算法详细解析
阿尔法狗（AlphaGo）是谷歌旗下DeepMind开发的一个著名的增强学习算法，它在围棋领域取得了显著的成就。本文主要探讨其中两个重要的算法：增强学习算法和蒙特卡洛树搜索算法。
2023-11-16 14:23:39
1046
原创 人工智能：CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的知识梳理
CNN 主要用于处理图像数据，RNN 用于处理序列数据，而 DNN 是一个通用的深度神经网络架构，可以应用于各种不同类型的数据。这些神经网络架构也可以结合使用，以解决复杂的多模态问题。
2023-10-24 17:58:05
9024
6
原创 Hadoop简介之望见数据湖
1 Hadoop概述随着信息化时代的来临，数据信息呈爆炸式增长。IBM的研究称，90%的人类文明数据是近两年产生的，而到了2020年，全球产生的数据量将是今天的44倍。传统的方法已难以应对越来越多的海量数据，因此海量数据的处理方法成为研究热点。大数据技术研究与应用推动互联网产业的快速发展，同时企业也促进了大数据技术的“新陈代谢”。在国外的计算机行业，Yahoo，Linkedin，Fackbook，eBay等企业都着手搭建Hadoop平台，努力推动Hadoop技术的发展并完善Hadoop项目。在国内，随着
2020-09-28 15:09:37
2688
2
原创 Greenplum安装时修改gpssh-exkeys中SSH免密登录端口
SSH免密登录的默认端口号为22，如果需要使用2226端口，可以修改如下地方298 def testAccess(hostname):299 '''300 Ensure the proper password-less access to the remote host.301 Using ssh here also allows discovery of remote host keys *not*302 reported by ssh-keyscan.303...
2020-09-08 14:13:29
3369
2
原创 rag增强检索-基于关键词检索的混合检索模式
Milvus 2.4 开始原生支持 Hybrid 查询，可以直接用关键词 + 向量同时搜！Qdrant 支持 “filter + vector” 的查询，很丝滑。→ 先关键词召回，再向量检索排序，或者两者结合。
2025-04-27 15:10:19
140
原创 Milvus如何实现关键词过滤和向量检索的混合检索
Milvus 支持混合检索，即同时进行向量检索和基于关键词或其他属性的过滤。通过在查询时使用 `expr` 参数，你可以轻松地将关键词过滤与向量相似度检索结合起来，以实现更精确和高效的数据检索。
2025-04-27 14:19:43
178
原创 基于deepseek的模型微调
使用 DeepSeek 模型（如）进行微调，可以分为几个关键步骤，下面以 DeepSeek-LLM 为例说明，适用于 Q&A、RAG、聊天机器人等方向的应用。
2025-04-23 18:41:32
178
原创 大模型RAG的召回模式
模式描述特点应用场景稀疏召回关键词匹配快速、精准但语义弱传统检索稠密召回向量相似度语义强、可扩展QA/RAG混合召回稀疏+稠密提升Recall覆盖通用RAG多模态召回图文检索等支持多模态输入图文问答生成式召回LLM生成检索线索灵活、可控指令召回LLM控制检索流程可解释、复杂推理多跳QA/Agent。
2025-04-23 18:39:04
98
原创 rag搭建，是如何进行向量匹配检索的？
模块作用Embedding 模型把文本和问题转成向量向量数据库存储所有 chunk 向量 + 元信息相似度计算查询问题向量与数据库向量的“距离”Top-k 检索取出最相似的几个文本，拼接输入给 LLM。
2025-04-20 19:31:14
99
原创 AI大模型之模型幻觉
内在幻觉是指模型生成的文本在形式上通顺、语法正确，但其内部逻辑结构不一致或语义推理存在错误。此类幻觉不依赖外部知识或输入背景，即使在无事实参照的生成任务中也可能出现。外在幻觉是指模型生成的文本与外部事实、上下文输入或知识源不一致，即模型在已有语义输入（如上下文、文档、图像或知识库）条件下，仍生成了与之矛盾或无关的信息。
2025-04-20 18:55:31
67
原创 人工智能之矢量搜索报告
矢量搜索正在从文本扩展到图像、视频、音频等领域，并成为多模态 AI 系统的底层“感知引擎”。图像矢量搜索的研究与实践，是构建下一代智能搜索与生成系统的关键支柱。掌握其底层机制与工程最佳实践，对于构建可靠、高效的 AI 应用至关重要。
2025-04-20 18:43:09
348
原创 模型幻觉之内在幻觉和外在幻觉
模型幻觉指的是大型语言模型（LLMs）生成的内容与客观事实不符或者缺乏合理逻辑依据的现象。这是当前大模型应用中面临的一个关键问题，会严重影响模型输出的可信度和实用性。例如在问答系统中，模型可能会给出不存在的事件细节或者错误的知识信息。内在幻觉是指模型在生成内容时，由于自身知识理解和推理的局限，产生与已知事实冲突或者在语义逻辑上不合理的表述，不涉及外部知识检索。这种幻觉源于模型内部的参数和训练方式，使得它在处理输入时无法准确地表达真实信息。外在幻觉通常与RAG（检索增强生成）系统相关。
2025-04-15 13:38:40
51
原创 大模型之Hugging Face
Hugging Face 通过提供预训练模型、数据集、以及推理和训练工具，极大地简化了自然语言处理任务的开发。无论是初学者还是经验丰富的研究人员，Hugging Face 都为 NLP 项目提供了极大的便利。如果你正在进行自然语言处理或机器学习任务，Hugging Face 是一个非常值得关注的平台。
2025-04-14 23:12:07
108
原创 大模型之Transformers ， PyTorch和Keras
- **Transformers** 是一种强大的架构，专为自然语言处理任务设计，提供了大量预训练模型，广泛应用于文本生成、机器翻译、文本分类等任务。- **PyTorch** 是一个灵活、动态的深度学习框架，适合研究和原型开发，尤其在计算机视觉和强化学习领域应用广泛。- **Keras** 是一个高层次的深度学习库，简化了模型构建和训练的流程，适合快速原型开发，通常与 TensorFlow 配合使用。
2025-04-14 23:09:06
562
原创 层归一化（Layer Normalization） vs 批量归一化（Batch Normalization）
层归一化和批量归一化都是，目的是让训练更稳定、收敛更快，但应用场景和工作方式大不相同。
2025-04-13 18:39:11
327
原创 transformer的基本结构和工作原理，多头自注意力机制的作用是什么，为什么使用位置编码？
Transformer 架构是现代大模型的基石，下面我从结构、原理、多头自注意力、位置编码四个方面做一个清晰的解释。Transformer 由 编码器（Encoder） 和 解码器（Decoder） 两部分组成：每个 Encoder Block 包含两层：加上：结构类似于 Encoder，但多了一层：以文本生成为例：注意力机制的核心是：当前词应该关注哪些其它词，通过加权求和的方式融合信息。公式核心：[Attention(Q,K,V)=softmax(QK⊤dk)V][ \text{Attention}(Q
2025-04-13 18:03:16
175
原创 如何对大模型进行优化，以提高其性能和效率？
对大模型进行优化，可以从多个层面入手，包括等方向。下面我从这几个维度详细展开，并列举常用的优化策略和工程实践。
2025-04-13 17:58:18
132
原创 如何评估大模型的性能？有哪些常用的评估指标？
评估大模型（如大语言模型 LLM）的性能是一个多维度的问题，常常需要结合多个指标从不同角度来考察模型的能力。
2025-04-13 17:54:59
147
原创 hive排序函数
ORDER BY: 全局排序，数据需要集中到一个节点，可能会影响性能。SORT BY: 局部排序，每个节点上进行排序，性能较好，但不能保证全局排序。: 根据某个字段将数据分发到不同的节点上，适用于分布式计算。CLUSTER BY: 类似于，但它同时会在每个节点上进行排序。在 Hive 中，除了常见的ORDER BYSORT BY和CLUSTER BY之外，还有一些其他的排序相关的函数和功能。除了常规的排序操作，Hive 中的窗口函数（如RANK()NTILE()LEAD()LAG()和。
2025-04-08 20:17:57
119
原创 机器学习之回归
回归分析是机器学习中的基本技术之一，广泛用于预测连续型变量。本文调研了线性回归、多项式回归、岭回归、Lasso回归及弹性网络回归，重点分析其数学原理、算法推导、求解方法及应用场景。
2025-03-24 15:30:50
197
原创 机器学习之条件概率
概率模型在各类机器学习任务中发挥着重要作用。EM算法适用于参数估计，MCMC可用于复杂分布采样，朴素贝叶斯和贝叶斯网络在分类和推理任务中具有优势，CRF和HMM适合序列建模，而最大熵模型则用于信息预测和分类。未来的研究可以结合深度学习进一步优化这些模型的性能。
2025-03-24 14:49:21
525
原创 语言大模型之BERT
BERT 采用 Transformer 编码器（Transformer Encoder），使用。来学习文本中的长距离依赖关系。不同于 LSTM 或传统 RNN，Transformer 允许。在 BERT 之前，许多 NLP 预训练方法（如 Word2Vec、GloVe）都是基于。，显著提升了自然语言理解（NLU）任务的表现。，导致模型无法充分利用句子中的全局信息。学习文本信息，从而更好地理解句子中的每个单词。，在 NLP 领域取得了革命性的突破。BERT 解决了这些问题，通过。
2025-03-21 09:50:05
223
原创 Hadoop 3.x中的zookeeper和JournalNode的作用
在Hadoop 3.x版本中，和的作用有所变化和增强，尤其是在HDFS高可用性（HA）架构和其他Hadoop组件的协作方面。继续在Hadoop 3.x中为集群提供协调服务，尤其是在HDFS的高可用性和YARN资源管理器的管理中，保证了集群节点之间的一致性和故障切换的顺利进行。主要用于为HDFS提供高可用性支持，确保NameNode的操作日志可以高效、可靠地同步和存储，使得在NameNode发生故障时，Standby NameNode能够快速恢复并接管工作。
2025-03-20 18:33:31
177
原创 调研报告：Hadoop 3.x Ozone 全景解析
Hadoop 3.x 中的 Ozone 以其全新的对象存储设计和分布式架构，从根本上解决了传统 HDFS 在处理海量小文件、元数据瓶颈以及云原生环境下的诸多问题。通过引入分布式 OM、容器化存储、数据副本与纠删编码机制，Ozone 不仅实现了高性能、高可用与可扩展性，而且在运维管理、安全性和生态集成方面展现出极大优势。面对未来数据量持续攀升及多样化应用场景的挑战，Ozone 正在不断优化自身设计，并与云原生技术、智能运维手段深度融合，为大数据存储和处理开辟出一条全新的发展路径。
2025-03-20 16:24:24
200
原创 AI大模型之量化
模型量化是指将神经网络中的权重、激活值及计算过程从高精度（如 32-bit 浮点数, FP32）转换为低精度（如 8-bit 整数, INT8），从而减少存储和计算负担，提高推理速度。
2025-03-20 14:53:07
60
原创 AI大模型之知识蒸馏
其核心思想是利用教师模型的知识指导学生模型的训练，以在保持性能的同时大幅减少计算资源需求。未来，随着深度学习技术的发展，知识蒸馏仍将继续发挥重要作用，并与其他模型优化方法结合，实现更高效的 AI 计算。：教师模型的输出通常是一个经过 Softmax 处理的概率分布，而不仅仅是硬标签。：在某些方法中，教师模型的梯度信息也可以作为指导信号，提高学生模型的优化效率。，学生模型），以此来减少模型的计算量和存储需求，同时尽可能保持较高的性能。：学生模型可以学习教师模型的隐藏层表示，以增强其表达能力。
2025-03-20 14:48:43
48
原创 语言大模型，cv大模型用的向量数据库介绍及使用场景
语言大模型（如GPT系列）和计算机视觉大模型（如CLIP、YOLO等）在处理和存储大量高维数据时，通常使用向量数据库。向量数据库能够高效地存储和检索高维向量表示（embeddings），这些向量通常是通过深度学习模型（如BERT、ResNet等）生成的。随着大模型（LLM、VLM）的发展，向量数据库在存储、检索和高效查询嵌入向量方面发挥了关键作用。以下是常见的向量数据库及其在语言和计算机视觉大模型中的使用场景。使用场景：增强搜索引擎的功能，可以同时进行传统的文本搜索和基于向量的相似度搜索。
2025-03-20 09:46:18
63
原创 openai,deepseek等语言大模型，如何完成问答的
语言大模型（如OpenAI的GPT系列，DeepSeek等）完成问答任务的实现流程涉及多个步骤，包括数据处理、模型训练、推理、生成回答等环节。
2025-03-19 11:10:37
43
原创 多模态大模型：将音频向量化
将音频向量化是将音频数据转化为适合机器学习算法处理的向量表示的过程。这个过程通常涉及从原始音频信号中提取特征，并将这些特征转化为数字向量。
2025-03-19 10:57:28
229
原创 深度学习之防止过拟合
过拟合是机器学习中常见的问题，特别是当模型复杂度较高或训练数据量较少时。为了避免模型过度依赖训练数据中的噪声，采取一些有效的防止过拟合的方法非常重要。以下是几种常见的防止过拟合的技术，包括等，并对它们进行详细的介绍与对比。
2025-03-18 11:22:20
750
原创 大模型微调之早停（Early Stopping）
早停（Early Stopping）简介早停是一种正则化技术，目的是在训练过程中避免模型过拟合。过拟合通常发生在模型在训练数据上表现很好，但在未见过的新数据上表现很差的情况。早停可以帮助我们在模型开始过拟合之前停止训练，从而提高模型的泛化能力。
2025-03-18 11:16:52
189
原创 大模型微调之梯度剪裁
梯度剪裁在模型微调中的作用非常重要，它能够帮助我们避免因梯度爆炸导致的不稳定训练过程，尤其是在大规模预训练模型微调中，使用梯度剪裁可以有效提高模型训练的稳定性和收敛速度。
2025-03-18 10:33:27
54
原创 语言大模型之权重衰减
针对语言大模型（如GPT、BERT等）进行微调时引入**权重衰减**（Weight Decay）正则化技术，主要目的是防止过拟合并提高模型在新任务上的泛化能力。对于语言模型的微调，权重衰减可以通过优化模型训练的过程，确保模型不会过度依赖训练数据中的特定模式，尤其是在数据较少的情况下。下面是权重衰减在语言大模型微调中的应用和注意事项。
2025-03-18 10:20:58
47
原创 语言大模型之Tokenization的深入理解
Tokenization（分词）是自然语言处理（NLP）中一个非常重要的步骤，它的目标是将文本转换为模型可以理解的格式。对于像GPT、BERT等大型预训练模型来说，tokenization决定了文本如何转化为数字表示，从而影响模型在不同任务中的表现。接下来我会深入介绍tokenization的过程、不同的tokenization方法，以及它与模型微调（fine-tuning）之间的关系。
2025-03-18 10:05:11
38
原创 语言大模型微调之T5
微调 T5 (Text-to-Text Transfer Transformer) 模型是一个在许多自然语言处理（NLP）任务中非常有效的技术。T5 是由 Google 提出的，它将所有的 NLP 任务都转化为文本到文本的格式，类似于“输入文本 -> 输出文本”的框架。微调 T5 主要是根据特定的任务（例如分类、生成、翻译等）对其进行定制，以提高模型在特定任务上的表现。
2025-03-18 09:49:20
74
原创 语言大模型之langchain
通过灵活的链（Chains）、工具（Tools）和代理（Agents）机制，LangChain使得集成不同的数据源和模型变得更加简单，能够广泛应用于聊天机器人、问答系统、智能搜索、自动化文档处理等领域。链的构建允许你以流水线的方式进行任务的处理，例如，输入文本通过一系列的步骤处理后，最终得到一个输出结果。这些工具可以在链中作为步骤的一部分使用，让语言模型可以与外部系统进行交互，从而增强模型的功能。根据应用的复杂度和需求，你可以选择合适的方式来维护和管理上下文，使得系统能够生成更具相关性和一致性的结果。
2025-03-18 09:45:04
161
原创 多模态学习之BRET
BRET结合了BERT和区域化图像特征的优势，使用Transformer架构有效地处理视觉和文本的联合任务。它适用于多模态任务，尤其是在视觉问答、图像字幕生成等应用中，表现出色。通过区域化的图像特征和强大的文本表示能力，BRET能够实现图像和文本的深度对齐，提升多模态任务的表现。
2025-03-17 18:05:15
623
原创 语言大模型的模型微调方法LoRA
LoRA（Low-Rank Adaptation）是一种高效的模型微调方法，它通过对预训练语言模型的权重矩阵进行低秩分解，仅调整少量的低秩矩阵，从而在保持较高性能的同时，显著降低了计算和内存消耗。它适用于资源有限的场景，尤其是大规模预训练模型的微调，能够加速训练过程并节省计算资源。
2025-03-17 18:03:24
276
原创 AI人工智能之大模型微调
大模型微调（Fine-tuning）方法众多，但在实际应用中，**全参数微调（Full Fine-tuning）、LoRA（低秩适配）、Adapter（适配层）、指令微调（Instruction Fine-tuning）和 RLHF（基于人类反馈的强化学习）**是最常用的技术。一家新闻媒体希望用 AI 生成新闻摘要，适配多种语言（如英文、法文、西班牙文），但不想为每种语言单独微调一个模型。全参数微调后的 GPT-3 能够更准确地总结金融报告，减少歧义，提高摘要质量。全参数微调是最直接、最传统的方法，
2025-03-13 18:33:25
46
seatunnel 支持hive jdbc
2023-07-28
dataCollection安装jar包0.07版本
2023-01-16
hbase-manager安装包，已编译
2022-11-14
大数据之湖仓一体，未来如何发展
2024-04-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人