- 博客(1638)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 国产 AI 框架 EasyAI：让 Java 程序员用 Java 的方式做 AI
不少 Java 小伙伴私下跟我吐槽：现在 AI 这么火，咱们写 Java 的是不是注定只能在旁边看戏？说实话，以前确实挺憋屈的。主流 AI 框架全是 Python 的天下（TensorFlow、PyTorch 等），咱们想入个门，不仅要跨过语言鸿沟，还得去趟 CUDA、cuDNN 这种“环境配置地狱”。配环境的时间比写代码还长，这种生态割裂感真的让人头大 。EasyAI 的出现正是为了打破这一僵局。它是一个由 Dromara 开源社区维护的纯 Java 实现的人工智能框架，主打零依赖、开箱即用，旨在让 Ja
2026-01-22 19:24:28
53
转载 多模态RAG
词频（TF）：关键词在文档中出现的次数越多，相关性越高逆文档频率（IDF）：在越少文档中出现的词，区分度越高文档长度归一化：避免长文档获得不公平的优势支持同时查询文本和图像Collection支持配置不同的检索参数支持结果的合并与去重与LlamaIndex的Retriever接口兼容多模态RAG技术正在快速发展，从最初的CLIP双编码器到如今的Agentic RAG，技术方案越来越丰富，能力也越来越强大。
2026-01-20 14:37:39
38
原创 CLIP论文阅读
作者：LioneWang链接：https://zhuanlan.zhihu.com/p/1996842714956841421来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
2026-01-20 09:51:57
812
转载 一文详解AI大模型14个核心基础概念：Transformer、Token、MoE、RAG、Embedding、对齐、预训练、微调、Agent、MCP
本文系统性地梳理了构成现代AI大模型技术栈的一系列核心基础概念。从奠定基础的Transformer架构，到数据处理的Token与Embedding；从模型生命周期的预训练与微调，到追求效率与容量的MoE；从突破知识边界的RAG，到迈向通用智能的Agent；再到确保AI有益于人类的提示工程与对齐，以及必须正视的幻觉挑战。这些概念相互关联、层层递进，共同描绘了当前大模型技术发展的全景图。理解这些基础概念，不仅是深入研究和应用大模型的必要前提，也是我们思考人工智能未来发展方向、机遇与挑战的重要基石。
2026-01-19 11:21:01
61
转载 多模态大模型中的Cross-attention
Q-Former的设计体现了多模态大模型中的几个核心原则模态解耦：冻结单模态编码器，专注于跨模态对齐信息瓶颈：通过查询向量自适应压缩视觉信息多任务学习：ITC+ITM+ITG确保多层次对齐数学优雅性：Cross-Attention的简洁公式蕴含强大的表达能力数学基础：准确表述Cross-Attention公式几何直觉：流形、投影、压缩等概念工程思维：计算复杂度、训练成本、实际部署前沿视野：局限性和改进方向最后一句话"Q-Former不仅是一个技术模块，更是多模态学习中的设计哲学。
2026-01-19 11:20:13
37
转载 多种注意力机制详解
通俗解释：注意力机制源自人类处理信息的方式。由于外界信息量庞大且复杂，远远超过人脑的处理能力，因此人在处理信息时会优先关注重要的部分，而忽略无关的信息。看人 --> 看脸 ：当我们观察一个人时，通常会优先关注脸部特征。看车 --> 看车标 ：看到一辆车时，车标往往是吸引我们注意力的关键。看段落 --> 看开头 ：段落的开头通常是总结或引入重点的部分。这种“选择性关注”的方式被称为注意力机制。机器视角：对于没有情感的机器来说，注意力机制可以理解为一种“赋权”操作。
2026-01-19 11:02:55
177
转载 再读VIT细节
到此为止，关于VIT模型，我们就介绍完毕了。如果训练数据量不够多的话，看起来VIT也没比CNN好多少呀，VIT的意义是什么呢？这是个很好的问题，因为在工业界，人们的标注数据量和算力都是有限的，因此CNN可能还是首要选择。证明了一个统一框架在不同模态任务上的表现能力。在VIT之前，NLP的SOTA范式被认为是Transformer，而图像的SOTA范式依然是CNN。VIT出现后，证明了用NLP领域的SOTA模型一样能解图像领域的问题，同时在论文中通过丰富的实验，证明了VIT对CNN的替代能力。
2026-01-19 10:18:55
28
转载 字节 AI Infra 剪映面经（实习）
见的我这种菜鸡太多了？layernorm为什么这么实现（我写错了啊啊啊，忘了写scale and shift光normalize了，当时还没反应过来还狡辩了一会，面试官也没再追问就是）？什么时候用自旋锁，什么时候用非自旋锁（频繁加锁的用自旋锁，不然用非自旋锁，因为要比较系统调用和用户态空转的代价）？你中间用了einsum，介绍一下einsum，为什么你要用einsum（方便好用，所有人都应该用einsum）？什么是attention层，QKV分别是什么，为什么这么计算，为什么要除以根号d，不除可不可以？
2026-01-18 12:42:51
72
转载 Layernorm 原理解析
这一篇文章主要讲讲 Layer Normalization。在本文里，Layer Normalization 统一都被称为 layernorm。字面意思就是层归一化，也属于数据分布归一化的一种。在里，把数据分布都做一个归一化，好处多多，可以使训练更充分，更快速，可以克服Internal Covariate Shift 问题。这个问题是需要单独摊开来讲的。这一节主要是讲一下 layernorm 是如何实施的，以及其本质。
2024-12-26 11:48:20
842
转载 将卷积引入transformer中VcT(Introducing Convolutions to Vision Transformers)的pytorch代码详解
最开始的ViT是最先将tansformer应用在分类任务上，并取得了不错的结果，但是它的问题在于需要先在大数据集上（1000万的私有数据）先进行预训练，才能在下游的中小数据集取得不错的结果，如果在同等规模的小数据集上进行训练，实际上ViT的性能是比不上的经典的卷积神经网络（Resnet,VGG等的）。卷积的目的在于保证每个阶段都能减小特征图的尺寸，增加特征图通道数，相应的将其reshape成token后，token的数量也会减少，但是token的维度会增加。而DeiT若不使用位置编码则会掉点。
2024-08-25 12:32:09
497
1
原创 CvT:将卷积引入视觉Transformer
在本文中介绍了一种称为卷积视觉Transformer（CvT）的新体系结构，该体系结构通过将卷积引入ViT中来产生两种设计结合的最佳效果，从而提高了视觉Transformer（ViT）的性能和效率。包含卷积Token嵌入的Transformer层次结构，以及利用卷积映射的卷积Transformer Block。这些变化将卷积神经网络（CNN）的特性引入到ViT架构中（即平移、缩放和旋转不变性），同时保持了Transformers的优点（即动态注意力，全局Context和更好的泛化）。
2024-08-25 12:17:03
2006
转载 FcaNet论文解读，用频谱信息计算通道注意力
注意力机制有很多种方法，空间注意力，通道注意力，自注意力等，这里我们讨论的是通道注意力。通道注意力非常简单，直接学习出对应的每个通道的权值就可以，所以非常的好用。一般来说，在计算通道注意力的时候，每个通道的会需要有个标量值来计算后面的注意力权重，这个标量的计算函数一般都是使用Global Average Pooling。但是，GAP并不是那么的完美，简单的去均值的方法会丢弃很多的信息，无法充分的获取每个通道的多样性的信息。那么，除了使用全局的平均值来计算通道注意力之外，还有其他的方法吗？后面会详细说明。
2024-08-16 16:14:19
729
转载 QFormer：四边形注意力的视觉Transformer
然而，手工制作的窗口的设计与数据无关，限制了Transformer适应不同大小、形状和方向的对象的灵活性。本文提出一种新颖的四边形注意力(QA)方法，进而提出QFormer：一种视觉新主干，仅需少量代码修改和忽略不计的额外成本，在分类/检测/分割/姿态估计等视觉任务上性能表现出色！我们的方法采用端到端可学习四边形回归模块，该模块预测转换矩阵，将默认窗口转换为目标四边形以进行标记采样和注意力计算，使网络能够对具有不同形状和方向的各种目标进行建模并捕获丰富的上下文信息。
2024-08-15 20:58:27
632
转载 详解数仓分层设计架构 ODS-DWD-DWS-ADS
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
2024-08-09 16:39:42
6285
原创 Python轴承故障诊断：连续小波变换CWT
连续小波变换（Continuous Wavelet Transform，CWT）是一种用于在时域和频域上同时分析信号的方法，它通过使用不同尺度和位置的小波函数对信号进行变换，以获取信号的局部特性。本实验以某轴承故障诊断论文推荐'cgau8'小波，以及'morl'小波、'cmor1-1'小波、'cmor1.5-2'小波为实验做对比，尺度先设定为128，来对比不同小波函数的影响。小波函数（wavelet）的选择也连续小波变换中的一个重要参数，它决定了小波基函数的形状，不同的小波函数适用于不同类型的信号和应用。
2024-06-15 14:44:30
2459
1
转载 非独立同分布数据
虽然FedAVG的作者声称他的方法可以在一定程度上处理非独立同分布数据，但是大量的研究表明，在非独同的数据上，FL的精度下降是不可避免的。性能下降的主要原因是由于非iid导致局部模型的权值偏离。即由于局部数据分布的异质性，具有相同初始参数的局部模型会收敛到不同的模型。在FL过程中，通过对上传的局部模型进行平均得到的共享全局模型与理想模型(本地设备上的数据为IID时得到的模型)之间的分歧不断增大，导致收敛速度减慢，学习性能恶化。
2024-06-01 09:18:01
910
1
转载 结合加性个性化的联邦推荐
推荐系统已经成为分配用户可能感兴趣的新项目的重要工具和产品，并且深刻地改变了日常生活。这些系统通常依赖中央服务器来聚合用户数据、数字活动和偏好，以便训练模型做出准确的推荐。然而，将通常包含敏感隐私信息的用户数据上传到服务器可能会使他们面临重大的隐私和安全风险。此外，最近部分关于隐私保护的法规（如GDPR）要求用户数据存储在其设备本地，而不是上传到服务器。
2024-05-28 11:59:29
405
转载 本地学习问题：重新思考联邦学习中的数据异质性
联邦学习(FL)[17]使大量客户能够在不损害数据隐私的情况下对机器学习模型进行协作训练。在FL设置中，参与的客户机通常部署在各种环境中，或者由一组不同的用户拥有。因此，每个客户机本地数据的分布可能会有很大差异(即数据异构性)。因为客户端训练发生在它们自己的数据上，所以它们趋向于各自的局部最小值。然而，这个局部收敛点可能与全局模型的目标(即，通过中央服务器的聚合学习模型)不太一致。因此，客户端模型经常偏离理想的全局优化点，过度拟合其局部目标。当这种客户端漂移发生时，会阻碍中心聚合模型的性能[9,14]。
2024-05-28 11:47:36
1131
转载 FedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Fede
作者：青蝇吊客链接：https://www.zhihu.com/question/497705225/answer/3452046960来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。联邦学习框架下的MoE（上）——FedMoE论文标题是《》，作者是Liping Yi, Han Yu, Chao Ren, Heng Zhang, Gang Wang, Xiaoguang Liu, 和 Xiaoxiao Li。
2024-05-23 10:43:02
898
转载 小波变化库——Pywalvets 学习笔记
我在实验的过程中，主要是用最后的结果 ——“相同类的统计特征相近，不同类的统计特征相差很大”，来挑选小波基函数。多尺度小波变换一般是3~4层，但是要注意的是，如果实践中所用的图片太小，或者纹理并不丰富，其实用单层的小波变换就足够了。return： 返回的值要注意，每一层的高频都是包含在一个tuple中，例如三层的话返回为 [cA3, (cH3, cV3, cD3), (cH2, cV2, cD2)， (cH1, cV1, cD1)]substitute：要替换的值（经阈值函数处理后的值）
2024-05-15 19:41:39
360
转载 python小波变换学习
说明："系数提取"只有"多级分解"才会用的到！所以：多级分解的系数提取，就相当于1级分解后的返回结果的直接画图。多级(包括1级)分解与重构原始信号函数为: wavedec和wavedec2 与 waverec和waverec2；小波分解得到的"小波系数"是"没有量纲"的！它其实是"没有实际意义的数"，需要做系数重构才能从"小波域"再转回到"时域"；小波变换是将原始图像与小波基函数以及尺度函数进行内积运算, 所以一个尺度函数和一个小波基函数就可以确定一个小波变换。小波分解，分解到的"不是频率域"！
2024-05-15 19:40:19
173
转载 五倍吞吐量，性能全面包围Transformer：新架构Mamba引爆AI圈
Albert Gu 表示，这项研究的一个重要创新是引入了一个名为「选择性 SSM」的架构，该架构是 Albert Gu 此前主导研发的 S4 架构（Structured State Spaces for Sequence Modeling ，用于序列建模的结构化状态空间）的一个简单泛化，可以有选择地决定关注还是忽略传入的输入。研究者将先前的 SSM 架构设计与 Transformer 的 MLP 块合并为一个块，从而简化了深度序列模型架构，形成了一种包含选择性状态空间的简单、同质的架构设计（Mamba）。
2024-05-06 18:51:19
213
转载 LightM-UNet：Mamba助力轻量级UNet进行医学图像分割
LightM-UNet：一种轻量级 Mamba UNet，它将 Mamba 和 UNet 集成在一个轻量级框架中，实现了卓越的分割性能，同时将参数和计算成本分别大幅降低了 116 倍和 21 倍！代码即将开源！
2024-05-06 18:50:08
1179
转载 Mamba再下一城！清华提出MamMIL：使用状态空间模型对WSI进行多示例学习
MamMIL：一种用于 WSI 分类的新框架，首次将Mamba(状态空间模型)与 MIL(多示例学习)组合，以更小的内存占用实现SOTA性能！
2024-05-06 18:49:04
535
转载 VideoMamba来了！高效视频理解的状态空间模型
VideoMamba：一种用于高效视频理解的纯基于SSM的模型，克服了现有 3D CNN和视频Transformer的局限性，在多个数据集上性能表现出色！代码刚刚开源！
2024-05-06 18:48:17
594
转载 Mamba再下一城！MedMamba：医学图像分类的视觉Mamba
Mamba虽火，但把Mamba用好的工作真不多，而且医学影像的Mamba魔改工作也忒多了吧~真卷【总结】MedMamba：一种用于医学图像分类的视觉Mamba，引入一种新的Conv-SSM模块，在多个医学数据集上性能表现出色！代码刚刚开源！
2024-05-06 18:46:49
2569
转载 大模型应用系列——智能体（Agent）
最新的LangChain中LangChain 表达式语言（LCEL）已经成为了主流。LCEL是一种轻松地将链组合在一起的声明性方式。LCEL 从第一天起就被设计为支持将原型投入生产，无需更改代码，从最简单的“提示 + LLM”链到最复杂的链。LCEL基本样例: prompt + model + output parser。
2024-05-06 18:44:20
16599
1
原创 python小波分解
3. Coiflets小波基（coif）：Coiflets小波基是具有紧凑支持和较好频率局部化特性的小波基。3. Coiflets小波基（coif）：Coiflets小波基是具有紧凑支持和较好频率局部化特性的小波基。2. Symlets小波基（sym）：Symlets小波基是对称的Daubechies小波基。2. Symlets小波基（sym）：Symlets小波基是对称的Daubechies小波基。1. Daubechies小波基（db）：Daubechies小波基是最常用的小波基函数之一。
2024-05-06 18:28:34
1291
转载 Transformer三种模型解释
链接：https://www.zhihu.com/question/614100982/answer/3482741161总共有三种不同分类的生成式 Transformer 模型：仅编码器(encoder-only)、仅解码器(decoder-only) 和编码器-解码器(encoder-decoder)。每类模型都使用了不同的训练目标进行过训练，以解决不同类型的生成任务。
2024-05-02 11:12:03
1190
转载 常见的深度学习模型
在实际应用中，每个分支都有大量的著名的变种模型。万变不离其宗，了解了基本原理和设计思想，就能够更容易理解各个变种模型的妙处以及适用场景。
2024-03-13 14:44:32
2983
转载 Transformer 的结构改进与替代方案
自从 Transformer 结构被提出以来，以 BERT 为代表的 Encoder 模型，以 GPT 为代表的 Decoder 模型，以 ViT 为代表的 CV 模型，都烜赫一时。时至今日，几乎所有的 LLM 也都是 Transformer 结构，尽管不时也会有新的结构被提出来，但 Transformer 的江湖地位仍然无可撼动。希望通过以上问题的思考和讨论，能够帮助我们更好地使用Transformer、理解Transformer、优化Transformer和改进Transformer。
2024-03-09 12:34:08
4532
原创 联邦学习目前的热门研究方向
联邦学习是一种特殊的分布式机器学习，跨多个局部数据集训练模型，在保护用户隐私的同时，提高数据利用率提升模型性能。（1）模型压缩（量化、稀疏化和参数剪枝等）: 减少需要传输的数据量，以减轻通信负担，同时保持或提高性能。（2）可解释性和透明度: 增强模型的解释能力，让非专业人士也能理解模型的决策过程。（3）对抗性攻击和防御: 开发新的算法和策略来抵抗对抗性攻击，保护模型不被欺骗。（1）联邦学习框架和平台: 开发更加高效、易用的框架和平台，支持大规模联邦学习。4. 跨领域和跨语言联邦学习。1. 隐私保护和安全。
2024-02-29 18:52:42
1792
转载 大模型面试问题记录
在训练过程中，模型会学习这些符号的嵌入表示。INT8提供更高的压缩比，可以显著减少模型的内存占用和带宽需求，但由于量化过程中的信息损失，可能会对模型的准确性产生一定影响。这种现象通常发生在大型模型中，原因是大型模型具有更高的表示能力和更多的参数，可以更好地捕捉数据中的模式和关联。知识蒸馏是一种模型压缩技术，其中一个大型的、表现良好的模型（教师模型）被用来训练一个小型的模型（学生模型）。微调后的模型出现能力劣化，灾难性遗忘可能是因为模型在微调过程中学习到了过多的特定任务的知识，而忽略了通用的语言知识。
2024-02-24 12:17:03
1523
转载 JVM内存问题排查Cookbook
本文又名《如何让对JVM一窍不通的我快速开始排查应用内存问题》。在来阿里之前，我主要做Go和C++的后端开发，JVM了解不多。然后在这里一开始做过两段内部工具的开发，维护的业务代码由于经手人迭代比较频繁，整体的代码风格和代码结构没有那么标准吧，在海外上线压测和客户使用中出现过几次内存非预期暴涨。然后也慢慢边看边学开始上手起来。之后来到对客页面，意外的是在这里也会碰到不少客户打来的内存相关问题。
2024-02-18 18:31:57
981
转载 简化版Transformer ：Simplifying Transformer Block论文详解
在设计深层Transformer 时，一种常见的方法是使用复杂的组件组成，这些组件块由交织在一起的注意力和MLP子块、跳过连接和规一化层组成。这种复杂性会使这些体系结构变得脆弱，即使是很小的更改也会显著影响训练速度或使模型无法训练。论文研究以信号传播理论及实证研究结果为基础，探讨标准Transformer 块的简化方法。证明了许多组件，如跳过连接、投影或值参数、顺序子块和归一化层，可以在不牺牲训练速度的情况下被删除。
2024-01-27 13:10:27
294
转载 论文详解：Swin Transformer
《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》作为2021 ICCV最佳论文，屠榜了各大CV任务，性能优于DeiT、ViT和EfficientNet等主干网络，已经替代经典的CNN架构，成为了计算机视觉领域通用的backbone。它基于了ViT模型的思想，创新性的引入了滑动窗口机制，让模型能够学习到跨窗口的信息，同时也。同时通过下采样层，使得模型能够处理超分辨率的图片，节省计算量以及能够关注全局和局部的信息。
2024-01-25 17:58:30
5321
转载 性能优化思路及常用工具及手段
Q：例如ASI排查场景中，看到pod cpu高 或者 load高，但根因是出在其他地方，可能是安全插件rasp负载高、也可能是后台异常内存回收、也可能是宿主机负载高导致，现在全凭经验做排除法，有没有类似字典的方式手段定位问题？A：一般情况下出现这种情况，可以从几个角度缩小问题产生的范围。1）是不是该宿主机上的所有容器都有类似的表现？
2024-01-24 20:57:20
260
转载 基于 Flink+Clickhouse 构建实时数仓
快速变化维度（如用户信息）则不太适合打进宽表，我们采用MySQL表引擎将快变维度表直接映射到ClickHouse中，而ClickHouse支持异构查询，也能够支撑规模较小的维表join场景。当前我们仅实现了DataStream API风格的Flink-ClickHouse Sink，随着Flink作业SQL化的大潮，在未来还计划实现SQL风格的ClickHouse Sink，打磨健壮后会适时回馈给社区。点击流实时数仓的分层设计仍然可以借鉴传统数仓的方案，以扁平为上策，尽量减少数据传输中途的延迟。
2024-01-22 18:56:33
1110
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人