自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1625)
  • 资源 (3)
  • 收藏
  • 关注

原创 Python轴承故障诊断:连续小波变换CWT

连续小波变换(Continuous Wavelet Transform,CWT)是一种用于在时域和频域上同时分析信号的方法,它通过使用不同尺度和位置的小波函数对信号进行变换,以获取信号的局部特性。本实验以某轴承故障诊断论文推荐'cgau8'小波,以及'morl'小波、'cmor1-1'小波、'cmor1.5-2'小波为实验做对比,尺度先设定为128,来对比不同小波函数的影响。小波函数(wavelet)的选择也连续小波变换中的一个重要参数,它决定了小波基函数的形状,不同的小波函数适用于不同类型的信号和应用。

2024-06-15 14:44:30 990

转载 非独立同分布数据

虽然FedAVG的作者声称他的方法可以在一定程度上处理非独立同分布数据,但是大量的研究表明,在非独同的数据上,FL的精度下降是不可避免的。性能下降的主要原因是由于非iid导致局部模型的权值偏离。即由于局部数据分布的异质性,具有相同初始参数的局部模型会收敛到不同的模型。在FL过程中,通过对上传的局部模型进行平均得到的共享全局模型与理想模型(本地设备上的数据为IID时得到的模型)之间的分歧不断增大,导致收敛速度减慢,学习性能恶化。

2024-06-01 09:18:01 51

转载 结合加性个性化的联邦推荐

推荐系统已经成为分配用户可能感兴趣的新项目的重要工具和产品,并且深刻地改变了日常生活。这些系统通常依赖中央服务器来聚合用户数据、数字活动和偏好,以便训练模型做出准确的推荐。然而,将通常包含敏感隐私信息的用户数据上传到服务器可能会使他们面临重大的隐私和安全风险。此外,最近部分关于隐私保护的法规(如GDPR)要求用户数据存储在其设备本地,而不是上传到服务器。

2024-05-28 11:59:29 27

转载 本地学习问题:重新思考联邦学习中的数据异质性

联邦学习(FL)[17]使大量客户能够在不损害数据隐私的情况下对机器学习模型进行协作训练。在FL设置中,参与的客户机通常部署在各种环境中,或者由一组不同的用户拥有。因此,每个客户机本地数据的分布可能会有很大差异(即数据异构性)。因为客户端训练发生在它们自己的数据上,所以它们趋向于各自的局部最小值。然而,这个局部收敛点可能与全局模型的目标(即,通过中央服务器的聚合学习模型)不太一致。因此,客户端模型经常偏离理想的全局优化点,过度拟合其局部目标。当这种客户端漂移发生时,会阻碍中心聚合模型的性能[9,14]。

2024-05-28 11:47:36 63

转载 FedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Fede

作者:青蝇吊客链接:https://www.zhihu.com/question/497705225/answer/3452046960来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。联邦学习框架下的MoE(上)——FedMoE论文标题是《》,作者是Liping Yi, Han Yu, Chao Ren, Heng Zhang, Gang Wang, Xiaoguang Liu, 和 Xiaoxiao Li。

2024-05-23 10:43:02 34

转载 小波变化库——Pywalvets 学习笔记

我在实验的过程中,主要是用最后的结果 ——“相同类的统计特征相近,不同类的统计特征相差很大”,来挑选小波基函数。多尺度小波变换一般是3~4层,但是要注意的是,如果实践中所用的图片太小,或者纹理并不丰富,其实用单层的小波变换就足够了。return: 返回的值要注意,每一层的高频都是包含在一个tuple中,例如三层的话返回为 [cA3, (cH3, cV3, cD3), (cH2, cV2, cD2), (cH1, cV1, cD1)]substitute:要替换的值(经阈值函数处理后的值)

2024-05-15 19:41:39 34

转载 python小波变换学习

说明:"系数提取"只有"多级分解"才会用的到!所以:多级分解的系数提取,就相当于1级分解后的返回结果的直接画图。多级(包括1级)分解与重构原始信号函数为: wavedec和wavedec2 与 waverec和waverec2;小波分解得到的"小波系数"是"没有量纲"的!它其实是"没有实际意义的数",需要做系数重构才能从"小波域"再转回到"时域";小波变换是将原始图像与小波基函数以及尺度函数进行内积运算, 所以一个尺度函数和一个小波基函数就可以确定一个小波变换。小波分解,分解到的"不是频率域"!

2024-05-15 19:40:19 19

转载 五倍吞吐量,性能全面包围Transformer:新架构Mamba引爆AI圈

Albert Gu 表示,这项研究的一个重要创新是引入了一个名为「选择性 SSM」的架构,该架构是 Albert Gu 此前主导研发的 S4 架构(Structured State Spaces for Sequence Modeling ,用于序列建模的结构化状态空间)的一个简单泛化,可以有选择地决定关注还是忽略传入的输入。研究者将先前的 SSM 架构设计与 Transformer 的 MLP 块合并为一个块,从而简化了深度序列模型架构,形成了一种包含选择性状态空间的简单、同质的架构设计(Mamba)。

2024-05-06 18:51:19 43

转载 LightM-UNet:Mamba助力轻量级UNet进行医学图像分割

LightM-UNet:一种轻量级 Mamba UNet,它将 Mamba 和 UNet 集成在一个轻量级框架中,实现了卓越的分割性能,同时将参数和计算成本分别大幅降低了 116 倍和 21 倍!代码即将开源!

2024-05-06 18:50:08 138

转载 Mamba再下一城!清华提出MamMIL:使用状态空间模型对WSI进行多示例学习

MamMIL:一种用于 WSI 分类的新框架,首次将Mamba(状态空间模型)与 MIL(多示例学习)组合,以更小的内存占用实现SOTA性能!

2024-05-06 18:49:04 39

转载 VideoMamba来了!高效视频理解的状态空间模型

VideoMamba:一种用于高效视频理解的纯基于SSM的模型,克服了现有 3D CNN和视频Transformer的局限性,在多个数据集上性能表现出色!代码刚刚开源!

2024-05-06 18:48:17 66

转载 Mamba再下一城!MedMamba:医学图像分类的视觉Mamba

Mamba虽火,但把Mamba用好的工作真不多,而且医学影像的Mamba魔改工作也忒多了吧~真卷【总结】MedMamba:一种用于医学图像分类的视觉Mamba,引入一种新的Conv-SSM模块,在多个医学数据集上性能表现出色!代码刚刚开源!

2024-05-06 18:46:49 166

转载 大模型应用系列——智能体(Agent)

最新的LangChain中LangChain 表达式语言(LCEL)已经成为了主流。LCEL是一种轻松地将链组合在一起的声明性方式。LCEL 从第一天起就被设计为支持将原型投入生产,无需更改代码,从最简单的“提示 + LLM”链到最复杂的链。LCEL基本样例: prompt + model + output parser。

2024-05-06 18:44:20 467

转载 Vanilla Transformer 和Transformer-XL

图为隐层为4层的模型的训练过程:训练过程当分批分段的数据进入模型训练后,

2024-05-06 18:42:09 37

原创 python小波分解

3. Coiflets小波基(coif):Coiflets小波基是具有紧凑支持和较好频率局部化特性的小波基。3. Coiflets小波基(coif):Coiflets小波基是具有紧凑支持和较好频率局部化特性的小波基。2. Symlets小波基(sym):Symlets小波基是对称的Daubechies小波基。2. Symlets小波基(sym):Symlets小波基是对称的Daubechies小波基。1. Daubechies小波基(db):Daubechies小波基是最常用的小波基函数之一。

2024-05-06 18:28:34 486

转载 Transformer三种模型解释

链接:https://www.zhihu.com/question/614100982/answer/3482741161总共有三种不同分类的生成式 Transformer 模型:仅编码器(encoder-only)、仅解码器(decoder-only) 和编码器-解码器(encoder-decoder)。每类模型都使用了不同的训练目标进行过训练,以解决不同类型的生成任务。

2024-05-02 11:12:03 57

转载 常见的深度学习模型

在实际应用中,每个分支都有大量的著名的变种模型。万变不离其宗,了解了基本原理和设计思想,就能够更容易理解各个变种模型的妙处以及适用场景。

2024-03-13 14:44:32 721

转载 Transformer 的结构改进与替代方案

自从 Transformer 结构被提出以来,以 BERT 为代表的 Encoder 模型,以 GPT 为代表的 Decoder 模型,以 ViT 为代表的 CV 模型,都烜赫一时。时至今日,几乎所有的 LLM 也都是 Transformer 结构,尽管不时也会有新的结构被提出来,但 Transformer 的江湖地位仍然无可撼动。希望通过以上问题的思考和讨论,能够帮助我们更好地使用Transformer、理解Transformer、优化Transformer和改进Transformer。

2024-03-09 12:34:08 484

原创 联邦学习目前的热门研究方向

联邦学习是一种特殊的分布式机器学习,跨多个局部数据集训练模型,在保护用户隐私的同时,提高数据利用率提升模型性能。(1)模型压缩(量化、稀疏化和参数剪枝等): 减少需要传输的数据量,以减轻通信负担,同时保持或提高性能。(2)可解释性和透明度: 增强模型的解释能力,让非专业人士也能理解模型的决策过程。(3)对抗性攻击和防御: 开发新的算法和策略来抵抗对抗性攻击,保护模型不被欺骗。(1)联邦学习框架和平台: 开发更加高效、易用的框架和平台,支持大规模联邦学习。4. 跨领域和跨语言联邦学习。1. 隐私保护和安全。

2024-02-29 18:52:42 437

转载 大模型面试问题记录

在训练过程中,模型会学习这些符号的嵌入表示。INT8提供更高的压缩比,可以显著减少模型的内存占用和带宽需求,但由于量化过程中的信息损失,可能会对模型的准确性产生一定影响。这种现象通常发生在大型模型中,原因是大型模型具有更高的表示能力和更多的参数,可以更好地捕捉数据中的模式和关联。知识蒸馏是一种模型压缩技术,其中一个大型的、表现良好的模型(教师模型)被用来训练一个小型的模型(学生模型)。微调后的模型出现能力劣化,灾难性遗忘可能是因为模型在微调过程中学习到了过多的特定任务的知识,而忽略了通用的语言知识。

2024-02-24 12:17:03 496

转载 JVM内存问题排查Cookbook

本文又名《如何让对JVM一窍不通的我快速开始排查应用内存问题》。在来阿里之前,我主要做Go和C++的后端开发,JVM了解不多。然后在这里一开始做过两段内部工具的开发,维护的业务代码由于经手人迭代比较频繁,整体的代码风格和代码结构没有那么标准吧,在海外上线压测和客户使用中出现过几次内存非预期暴涨。然后也慢慢边看边学开始上手起来。之后来到对客页面,意外的是在这里也会碰到不少客户打来的内存相关问题。

2024-02-18 18:31:57 119

转载 简化版Transformer :Simplifying Transformer Block论文详解

在设计深层Transformer 时,一种常见的方法是使用复杂的组件组成,这些组件块由交织在一起的注意力和MLP子块、跳过连接和规一化层组成。这种复杂性会使这些体系结构变得脆弱,即使是很小的更改也会显著影响训练速度或使模型无法训练。论文研究以信号传播理论及实证研究结果为基础,探讨标准Transformer 块的简化方法。证明了许多组件,如跳过连接、投影或值参数、顺序子块和归一化层,可以在不牺牲训练速度的情况下被删除。

2024-01-27 13:10:27 104

转载 论文详解:Swin Transformer

《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》作为2021 ICCV最佳论文,屠榜了各大CV任务,性能优于DeiT、ViT和EfficientNet等主干网络,已经替代经典的CNN架构,成为了计算机视觉领域通用的backbone。它基于了ViT模型的思想,创新性的引入了滑动窗口机制,让模型能够学习到跨窗口的信息,同时也。同时通过下采样层,使得模型能够处理超分辨率的图片,节省计算量以及能够关注全局和局部的信息。

2024-01-25 17:58:30 371

转载 性能优化思路及常用工具及手段

Q:例如ASI排查场景中,看到pod cpu高 或者 load高,但根因是出在其他地方,可能是安全插件rasp负载高、也可能是后台异常内存回收、也可能是宿主机负载高导致,现在全凭经验做排除法,有没有类似字典的方式手段定位问题?A:一般情况下出现这种情况,可以从几个角度缩小问题产生的范围。1)是不是该宿主机上的所有容器都有类似的表现?

2024-01-24 20:57:20 75

转载 基于 Flink+Clickhouse 构建实时数仓

快速变化维度(如用户信息)则不太适合打进宽表,我们采用MySQL表引擎将快变维度表直接映射到ClickHouse中,而ClickHouse支持异构查询,也能够支撑规模较小的维表join场景。当前我们仅实现了DataStream API风格的Flink-ClickHouse Sink,随着Flink作业SQL化的大潮,在未来还计划实现SQL风格的ClickHouse Sink,打磨健壮后会适时回馈给社区。点击流实时数仓的分层设计仍然可以借鉴传统数仓的方案,以扁平为上策,尽量减少数据传输中途的延迟。

2024-01-22 18:56:33 331

转载 Flink 实时数仓建设

流计算分析大量工业传感器传入数据,实时进行数据清洗和归纳,可以帮助用户实时分析和诊断工业设备的运行状况,实时检测运行故障,实时预测制品良率,实时监控设备关键指标、实时将数据清洗并写入在线OLAP系统和MQ ,通过MQ作为告警消息源,更好保证数据投递过程中避免用户告警系统故障,导致告警信息遗漏,保证告警准确性。当然,极致的速度必然会有较高的成本。:经过处理的数据,可直接服务于相关业务方,如运营,决策者,相关应用等,如运营人员可通过实时报表中的数据及时调整运营策略,提高活动转化率,实时风控,可避免业务损失等。

2024-01-22 18:54:14 96

转载 深入解析 Flink CDC 增量快照读取机制

但Flink CDC 中 Chunk 级别的 checkpoint 并不是直接利用Flink 计数驱动的 checkpoint 来实现的,相反,它是 Flink CDC 根据自身的机制自己实现的。在 Flink CDC 中实现 Chunk 级别的 checkpoint 本质是使用 Flink 的 Checkpointing 机制和相应的配置,启用 Chunk 级别的 checkpoint 后,Flink CDC 将在每个 Chunk 完成读取后进行一次 checkpoint,以确保数据的一致性和容错性。

2024-01-21 11:37:13 582

原创 ElasticSearch调优

弄懂了上述知识点,对于ES就算是入门了,也可以根据业务场景进行合理的技术选型了。Java技术栈的经典八股文​mp.weixin.qq.com/s?btw:该八股文除了ES之外,还包括Java基础、Spring生态、MyBatis、MySQL、JVM、Redis、Kafka、RocketMQ、Dubbo、操作系统和网络、Netty、Doris、ClickHouse,非常全面。

2024-01-21 11:31:52 886

原创 Elasticsearch 调优实践

如果你傻乎乎往 es 里写入一行数据所有的字段,就会导致说 90% 的数据是不用来搜索的,结果硬是占据了 es 机器上的 filesystem cache 的空间,单条数据的数据量越大,就会导致 filesystem cahce 能缓存的数据就越少。然后你从 es 检索可能就花费 20ms,然后再根据 es 返回的 id 去 hbase 里查询,查 20 条数据,可能也就耗费个 30ms,可能你原来那么玩儿,1T 数据都放 es,会每次查询都是 5~10s,现在可能性能就会很高,每次查询就是 50ms。

2024-01-21 11:29:54 887

转载 CNN 与 ViT 的完美结合 | TransXNet: 结合局部和全局注意力提供强大的归纳偏差和高效感受野

在以前的方法中,为了实现 token 之间的交互,通常会使用 1×11 \times 1 卷积层,但这会导致相当大的计算开销。中的注意力矩阵都是动态生成的,使用了前几个块中收集的局部和全局信息,从而增强了网络的表示能力,融入了强大的归纳偏差和扩展的有效感受野。,通过有效利用不同的特征提取方法,提高了网络的表示能力,同时在前馈网络中引入多尺度的特征聚合,为各种视觉任务提供了出色的性能。、目标检测和语义/实例分割任务上进行了大量实验,结果表明,所提方法在性能上超越了以前的方法,同时具有更低的计算成本。

2024-01-12 16:20:34 613

转载 Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

专家混合(MoE)模型则不同,它针对每个输入示例选择不同的参数。其结果是一个稀疏激活的模型--参数数量多得离谱--但计算成本不变。然而,尽管 MoE 取得了一些显著的成功,其广泛应用仍受到复杂性、通信成本和训练不稳定性的阻碍。我们通过引入Switch Transformers来解决这些问题。我们简化了 MoE 路由算法,设计了直观的改进模型,降低了通信和计算成本。我们提出的训练技术可减轻不稳定性,并首次展示了可使用较低精度(bfloat16)格式训练大型稀疏模型。

2024-01-12 11:54:50 283

转载 Transformer中的各种改进

LLM大行其道的时代,Transformer成为了当下最流行的模型结构,没有之一。为了达到加速或提效的目的,在vanilla Transformer的基础上,业界探索了针对不同组件的各种改进。

2024-01-11 11:17:10 438

转载 图神经网络(GNN)最简单全面原理与代码实现

图数据是由节点(Node)和边(Edge)组成的数据,最简单的方式是使用邻接矩阵来表示图形结构,从而捕捉图形中的节点和边的相关性。假设图中的节点数为n,那么邻接矩阵就是一个n*n的矩阵,如果节点之间有关联,则在邻接矩阵中表示为1,无关联则为0。在图中,鲁班与其他英雄都没有关联,表现在邻接矩阵当中就是它所在的行与列为全零。王者荣耀当中的图和邻接矩阵图数据的信息包含3个层面,分别是节点信息(V)、边信息(E)、图整体(U)信息,它们通常是用向量来表示。

2024-01-11 10:12:23 2587 1

转载 transformer教程

Transformer在Goole的一篇论文Attention is All You Need被提出,为了方便实现调用Transformer Google还开源了一个第三方库,基于TensorFlow的Tensor2Tensor,一个NLP的社区研究者贡献了一个Torch版本的支持:guide annotating the paper with PyTorch implementation。

2024-01-07 15:35:12 105

转载 备战双十一·尖货优品实时选技术

双十一是全国人民的购物狂欢节,但是对于阿里技术人而言,双十一则是一年一度的大考,技术人穷尽一切办法保障极致的用户体验和稳如泰山的可靠性,从底层网络、基础架构、容量规划、性能优化到个性化推荐,智能搜索,复杂营销玩法,整个技术支撑体系的每个层面都不断演进和诞生大量技术创新。弱水三千只取一瓢,如果你关注双十一,你会发现有大量的类似下面第一张图的“运动尖货”会场页面,这类会场有两个特点:特征相似。(例如图1的都是运动类商品)千人千面。

2023-12-14 10:27:15 145

转载 京东选品平台实践

京东零售选品平台初版上线于2021年Q3,整个平台的架构设计,包含了系统工程和数据处理两大方面的研发知识体系,对于团队和我个人是一个挑战和机遇。

2023-12-14 10:20:21 193

转载 京东云ClickHouse和ES双引擎设计在零售选品中的应用实践

背景介绍涅槃选品是京东零售内的战略级bigboss项目,项目主要致力于构建商品底层能力,打通提报、投放流程,实现选品的线上化、规则化与智能化;通过多方协作盘货,充分表达营销、品类、运营/采销等多方意志。业务上的多样化需求,导致在项目初期面临以下众多技术难点与挑战。面向研发排障的问题解决为解决以上技术难点,京东零售整体设计了一套这样的技术方案:技术方案在数据存储查询上主要分成三个大模块:模块一:ClickHouse与Elasticsearch存储结构设计模块;

2023-12-14 10:13:19 122

转载 聊聊互联网营销

"一代人有一代人的使命,一代人有一代人的担当"。软件工程上更新迭代的速度远高于人类代际的更迭,每个系统都是站在更早系统的肩膀上,进步了一点点,去担当崭新的需求。看了这篇文章的你,是否有多一点的信心,去自己练习下营销的第4门功课呢。

2023-12-14 10:06:27 49

转载 闲鱼商品选投实时性优化

本文从马赫选品到马赫投放实时性优化做了全面的介绍,每一步优化呈现的都是最终方案,为了保证系统的平滑过渡优化中中踩了很多坑不过最终都平稳落地,优化后的马赫从选品到投放整个实时链路时延有一个质的变化,选品数据从T+1变为H+1,选品流程从6分钟变为30秒,投放流程从2分钟变为2秒,系统更健壮也更实时,从整体功能看马赫还是属于一个工具级别系统,还远没有达到产品级别系统级。如上图所示,未来会把重点放在选品能力与整体运维能力上,在优化原有系统的同时增加新的能力,逐步把马赫打造成产品化系统。

2023-12-14 10:01:11 26

转载 咸鱼增长玩法

闲鱼用户增长团队在最近半年发力增加大量玩法覆盖闲鱼用户群体,业务和技术上都在探索如何快速支持玩法快速开发配置上线,提高研发效率,支持业务快速试错和实验,闲鱼用户玩法体系为技术侧对于业务玩法的抽象总结和增长方法论沉淀的一部分,欢迎感兴趣的同学加入我们一起建设闲鱼用户增长技术体系。

2023-12-14 09:57:03 41

hadoop-windows

Hadoop 2.7. 6在Windows7下单机部署时的补丁文件包,解决Hadoop在Windows下的安装问题

2018-08-14

Z-Stack API

ZStack 2006版本Api,中文版,

2011-03-30

《Z-Stack API 接口》中文版

ZigBee协议栈编程接口(API),中文版。

2010-04-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除