- 博客(391)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 【Survival Analysis】【机器学习】【3】 SHAP可解釋 AI
SHAP（SHapley Additive explanations) 是一种基于博弈论的可解释工具。现在很多高分的论文里面都会带这种基于SHAP 分析的图，用于评估机器学习模型中特征对预测结果的贡献度.
2025-06-06 16:37:55
950
原创 NR[ RF - 简介 ]
这种架构尚未被广泛接受，但已在某些手机中应用了数年，并且随着手机技术的发展（例如从GSM/CDMA到UMTS，再从UMTS到LTE），其应用范围也越来越广。上图仅显示了一个方向（接收路径），以便更直观地理解，但大多数通信系统都同时包含接收路径和发射路径，如下图所示。这对于高层次的理解来说已经足够了，但如果您是一位从事这方面工作的射频工程师，您就会了解接收路径和发射路径所用组件之间的许多细微差别。就概念而言，它看起来可能相当简单，因为大多数射频系统都是由非常相似的概念模块组成的，如下所示。
2025-05-28 11:17:18
754
原创 NR 通讯的整体架构
在大多数通信系统中，物理层之上还包含许多其他复杂的层，如下图所示。图中所示的每个模块都需要大量工程师进行研究、开发和测试，而完整的结构构成了一个庞大的产业。并假设发射器发送了一个信号，如左下角所示（蓝色），接收器检测到的信号显示在右侧（红色）。您在图中注意到的第一件事是什么？那就是发送的信号和接收的信号并不完全相同。我们来看下面的例子。这个具体例子中的区别如下。
2025-05-22 10:33:22
243
原创 【Survival Analysis】【机器学习】【3】deepseek流程图
这边是直接把写好的代码放到大模型，然后大模型总结一下，推荐使用deepseek.主要测试：豆包，文言一心，以及Kimi,以及Deepseek,通义千问。下图为deepseek的效果，其它几个都没办法用。提交论文的时候,有的时候需要提供code 的流程图。
2025-05-09 17:15:51
301
原创 【Survival Analysis】【机器学习】【1】
生存曲线（Survival Curves）是生存分析（Survival Analysis）中的核心可视化工具，用于描述特定群体随时间推移的生存（或事件未发生）概率。自己一直是做通讯+AI方向的，这个系列主要参考卡梅隆大学的教程，以及临床医生的角度 了解一下医学领域的相关背景，针对该任务的特殊性，在模型的方向，自己也想到了一个创新的点，目前代码刚刚写完，预计本周会把结果做出来。今年在做的一个博士课题项目，主要是利用病人的数据，训练出一个AI模型，做因果分析，当人是活着的，其生存时间是大于记录的时间。
2025-04-07 09:49:23
974
原创 【强化学习】【1】【PyTorch】【强化学习简介优化框架】
为帮助学习者系统掌握该领域的核心知识与实践技能，本课程整合西湖大学赵世钰教授权威课程体系、Python代码驱动的实战项目以及模块化知识图谱（ShareNote），构建"理论-算法-实现"三位一体的强化学习教学框架.延伸概念：回合(Episode)、策略(Policy)、回报(Return)、折扣因子。核心三要素：状态(State)、动作(Action)、奖励(Reward)同策略(On-policy) vs 异策略(Off-policy)对比。策略迭代(Policy Iteration)算法。
2025-04-01 14:41:30
838
原创 【PyTorch][chapter-39][MOE][Mixtral of experts -PyTorch】[4]
这里面重点通过PyTorch 实现Transformer MoE的模型部分。
2025-03-24 15:57:25
527
1
原创 【PyTorch][chapter-38][MOE-load balancing】[3]
专家混合模型的基本思想是在深度学习时代之前提出的，可以追溯到 90 年代，当时罗伯特·雅各布斯 (Robert Jacobs) 与“人工智能教父”杰弗里·辛顿 (Geoffrey Hinton) 及其同事提出了“局部专家自适应混合模型”。他们提出了将神经网络划分为多个由门控网络管理的专业“专家”的想法。随着深度学习的兴起，MoE 再次浮出水面。2017 年，Noam Shazeer 及其同事（再次包括 Geoffrey Hinton）提出了用于循环神经语言模型的稀疏门控混合专家层。
2025-03-20 19:24:16
759
原创 【PyTorch][chapter-37][MOE- Mixture of Experts Explained 】[2]
FasterMoE（2022 年 3 月）分析了 MoE 在高效分布式系统中的性能，并分析了不同并行策略的理论极限，以及倾斜专家流行度的技术、减少延迟的细粒度通信调度，以及根据最低延迟选择专家的调整拓扑感知门，从而将速度提高了 17 倍。在微调稀疏 MoE 时要考虑的最后一部分是，它们具有不同的微调超参数设置 - 例如，稀疏模型往往从较小的批量大小和较高的学习率中受益更多。另一个证实泛化问题的观察结果是，该模型在较小的任务中表现较差，但在较大的任务中表现良好。对于局部用例，可能需要使用较小的模型。
2025-03-19 19:20:23
935
原创 【PyTorch][chapter-36][MOE- Mixture of Experts Explained 】[1]
同时，存在共享计算，例如应用于所有标记的自注意力。模型来扩大这些模型的规模（是的，由于训练 MoE 所需的计算量较低，他们可以将碳足迹减少一个数量级）。条件计算（网络的各个部分基于每个示例而活跃）的理念允许人们在不增加计算量的情况下扩展模型的大小，因此，这导致每个 MoE 层中使用了数千个专家。其中，N 是专家的总数，K 是为每个标记选择的专家数量，si,t 表示专家i对标记t的路由分数，fi 表示被路由到专家i的标记比例，Pi 表示专家i的平均门控分数，而α是一个控制辅助损失强度的超参数。
2025-03-19 09:29:55
970
原创 【PyTorch][chapter-35][MLA]
它的工作原理是在生成过程中，将已经计算过的键和值向量存储在缓存中，这样在生成后续token时，可以直接从缓存中获取之前token的键和值，而不需要重新计算。具体来说，当生成一个新的token时，模型只需要计算这个新token的查询向量，并与缓存中的键向量计算注意力得分，然后使用这些得分和缓存中的值向量来计算新token的输出表示.在自回归生成过程中，每个新生成的token都会依赖于之前所有token的信息，这就需要在生成每个新token时重新计算整个序列的自注意力。: 注意力头数,每层的注意力头数量。
2025-03-17 09:45:04
1078
原创 【无线通讯Paper】[4] A Low Latency 5G Core Network based on High-Performance NFV Platforms
数据包丢失：在缓冲区分配相同的情况下，3GPP和L25GC的丢失率相似；但在UPF分配更大缓冲区的情况下，L25GC的智能切换可以完全避免数据包丢失。单向延迟：L25GC的智能切换通过优化路径显著降低了从UPF到UE的单向延迟，提升了用户体验。这些结果表明，L25GC的智能切换方法在减少数据包丢失和降低延迟方面优于3GPP的折返路由，特别是在高流量和缓冲区有限的情况下。由于UPF缓冲区大小的增加，UPF没有数据包丢失，而𝐺𝑁𝐵𝑠在3GPP切换中仍然会丢失约800个数据包。
2025-03-12 14:06:14
952
原创 【PyTorch][chapter-34][transformer-6] RoPE
self-attention 机制首先会将位置信息融 入到词嵌入中，然后将它们转换成查询（queries）、键（keys）和值（values）表示。基于Transformer的语言模型通常利用各个标记（token）的位置信息实现自注意力机制如方程（2）所示，如果不包含位置编码,我们发现计算出来的attention weights是一样的,但这两个。绝对位置变化，通过公式（2） 计算出来attention score 必然是不一样的，这两个句子本质上是一样的，所以我们需要一种相对位置编码。
2025-03-10 11:27:40
1009
原创 【无线通讯Paper】【1】derstanding 5G Performance for Real-world Services:a Content Provider’s Perspective
Rebuffer策略旨在减少或避免流媒体播放过程中的缓冲停顿现象，从而确保用户能够流畅地观看视频内容。通过智能地管理视频数据的下载和缓存，该策略可以在网络条件不佳或视频质量要求较高时，提供更为稳定的播放体验。
2025-02-28 14:27:03
407
原创 【PyTorch][chapter-33][transformer-5] MHA MQA GQA, KV-Cache
主要翻译外网： 解剖Deep Seek 系列，详细见参考部分。其中为子空间头数量一般设置为8在Transformer的Decoder推理过程中，由于自注意力机制需要遍历整个先前输入的序列来计算每个新token的注意力权重，这导致了显著的计算负担。随着序列长度的延伸，计算复杂度急剧上升，不仅增加了延迟，还限制了模型处理长序列的能力。因此，优化Decoder的自注意力机制，减少不必要的计算开销，成为提升Transformer模型推理效率的关键所在。
2025-02-26 19:24:56
954
原创 【PyTorch][chapter 28][李宏毅深度学习][Diffusion Model-3]
生成模型里面发展： AE-> VAE-> GAN ->WGAN -> Diffusiong本篇我们重点是推导一下Diffusion 模型用的3个公式：下面红色的是用到了VAE重采样的原理。
2025-02-25 13:53:15
770
原创 【无线通讯Paper】[2] Vivisecting Mobility Management in 5G Cellular Networks
随着5G技术对多种无线电频段和不同部署模式（例如独立组网（SA）与非独立组网（NSA））的支持，移动性管理，
2025-02-14 17:21:39
1280
原创 【PyTorch][chapter 29][李宏毅深度学习]Fine-tuning LLM
Fine-tune 常用于小样本学习，适用于特定的任务，比如原始的GPT-3跟矿石一样，通过Fine-tuning 技术可以加工成钻石。
2025-01-26 13:15:34
1470
原创 【无线感知会议系列-21 】无线感知6G 研究愿景
无线感知不仅是利用WIFI 设备进行感知，也是6G的核心功能,本篇主要分享2020奥卢大学芬兰 6G 旗舰项目领导的国际专家小组编写6G 白皮书以及会议本白皮书探讨了第五代 (5G) 无线通信系统未来的定位和传感机遇，确定了关键技术推动因素，讨论了其潜在挑战、实施问题，并确定了潜在解决方案。此外，我们还介绍了定位和传感应用的激动人心的新机遇，这些机遇将颠覆传统的设计原则，彻底改变我们的生活、与环境的互动方式和开展业务的方式。
2025-01-16 12:00:13
954
原创 【无线感知会议系列-21 】无线感知论文如何读
在实际实验中，我们所采集到的数据（以绿色部分示意）首先通过编码器被映射至特征空间，进而实现与目标空间的一对一映射（one-to-one)。然而，在部署阶段，我们时常会遭遇一些全新的数据，这些数据与实验中所采集的数据分布存在显著差异，进而使得模型难以进行有效匹配。在探讨变分自编码器（VAE）原理时，李宏毅教授深刻指出，无论是基于模型的算法，还是基于学习的算法，其本质都在于实现数据空间向目标空间的精准映射。但数据的采集工作高度依赖于实验，而在无线感知领域，如何高效地采集到合适的数据无疑是一个巨大的挑战。
2025-01-13 14:08:16
616
原创 【无线感知会议系列-20】WiFi Sensing with Channel State Information: A Survey-2
前言： 接 上一篇，这里重点讨论5-8,这篇是理解无线感知必看论文之一。相关工作放在附件的资源里面【无线感知会议系列-19 】WiFi Sensing with Channel State Information: A Survey-CSDN博客 目录： 简介 相关工作 信号处理 感知算法 感知应用 挑战和感知趋势 结论 专业名词解释五 感知算法 本节介绍了基于模型和基于学习的
2025-01-03 11:35:38
1087
原创 【无线感知会议系列-19 】WiFi Sensing with Channel State Information: A Survey
为了更深入地了解现有的WiFi感知技术以及未来的WiFi感知趋势，本调查全面回顾了基于CSI的WiFi感知的信号处理技术、算法、应用和性能结果。即采用中心位于时间α的时间窗g(t-α)在时域信号上滑动，在时间窗g(t-α)限定的范围内进行傅里叶变换，这样就使短时傅里叶变换具有了时间和频率的局部化能力，兼顾了时间和频率的分析[1]。最后，本调查提出了三个未来的WiFi感知趋势，即整合跨层网络信息、多设备合作和不同传感器的融合，以增强现有的WiFi感知能力并开启新的WiFi感知机会。
2025-01-03 11:34:30
1998
原创 【PyTorch][chapter 28][李宏毅深度学习][Diffusion Model-2]
本篇主要简单介绍一下State Diffusion. State Diffuison 里面Noise Predictor 模型主要应用了Unet 架构，提供了对应的PyTorch 代码。
2025-01-02 11:42:23
1219
原创 无线感知会议系列【17】Chronos-2
接《Decimeter-Level Localization with a Single WiFi Access Point》目录： CORRECTING FOR PHASE OFFSETS 计算距离和位置 方案 实验结果 相关工作 回顾 结论 DFT IDFT 回顾 五 回顾 PDD 噪声，需要通过线性插值法得到Carrier 0 Carrier 0 不包括该噪声。 CFO PL
2024-12-19 14:27:44
1074
原创 5G Throughput Optimization Basic-2 [Data Scheduling]TBS
1 是4G LTE，我们现在就可以停止了，因为在4G中，传输块（TB）大小的计算相当直接。分割的目的是最小化码块数量，并确保所有码块具有相同的大小。2，在5G中，情况更为复杂，因为5G使用低密度奇偶校验（LDPC）编码器，而不是4G中的Turbo编码器。）对于具备无线通信背景知识的观众而言，假设一个用户设备（UE）已连接到基站，并且基站希望最大化其向用户设备（UE）传输的数据速率。信息比特的数量被称为传输块（TB）大小，本文解释如何从调制编码方案（MCS）和已调度的资源元素数量RE来计算TB大小。
2024-12-19 14:27:03
743
原创 5G Throughput Optimization Basic-1 [Data Scheduling]
在给定的频段或频段组合中，根据TS 38.101-1 [2]的5.3节、TS 38.101-2 [3]的5.3节和TS 38.101-5 [34]的5.3节的定义，这是数值表示法μ下带宽B内的最大资源块（RB）分配量，其中B_UE_max表示UE在该频段或频段组合中支持的最大带宽。这是下行链路中由 supportedModulationOrderDL 给出的最大支持调制阶数，以及上行链路中由 supportedModulationOrderUL 给出的最大支持调制阶数。2.2 参数说明。
2024-12-19 14:26:13
967
原创 无线感知会议系列【17】Chronos-1
本文的主体部分解释了Chronos如何克服这些挑战，计算绝对飞行时间，并使用单个接入点实现定位.• Chronos在计算飞行时间时，在视线范围内（line-of-sight）的中位误差为0.47纳秒，在非视线范围内（non-line-of-sight）的中位误差为0.69纳秒。然而，不同的数据包会经历不同的随机检测延迟。据我们所知，Chronos是首个使配备商用WiFi网卡的节点能够在没有任何第三方支持（无论是其他WiFi节点还是外部传感器，如加速度计）的情况下，以数十厘米的精度定位另一个节点的系统。
2024-12-10 15:34:34
939
原创 无线感知会议系列【16】QGesture-2
前言： 接无线感知会议系列【16】QGesture-1-CSDN博客 PCI(Principal Component Identification )PCA( Principal Component Analysis)目录： 原理回顾 实验以及验证 限制 结论 和 讨论一 原理回顾 1.1 理想感知的CSI信号数学模型 结合图3 和下图可以理解：
2024-12-03 14:48:23
718
原创 【无线通讯Paper】[3] A Nationwide Study on Cellular Reliability:Measurement, Analysis, and Enhancements
论文《A Nationwide Study on Cellular Reliability: Measurement, Analysis, and Enhancements》这篇是国内清华大学和小米一起合作的，发表在SigComm上面的一篇论文，非感知领域视频地址10.手机异常断网的大规模诊断与修复；李振华 清华大学 副教授_哔哩哔哩_bilibiliDiagnosis and Fixing Code for Cellular Failures at Scale | Cellular
2024-11-29 11:19:44
965
原创 无线感知会议系列【16】QGesture-1
摘要： 这是2018年发表的一篇 paper 《 Quantifying Gesture Distance and Direction with WiFi Signals》 下一篇重要分享 Decimeter-level localization with a single WiFi access point，主要创新点是如何对CFO SFO PBD 噪声进行去噪。 许多人机交互（HCI）应用，如游戏系统中的音量调节，需要对运动距离和方向等度量指标进行定量手势测量。在本文中
2024-11-28 14:30:49
849
原创 【PyTorch][chapter 228][李宏毅深度学习][Diffusion Model-1]
前言： 目录：一 简介 1.1 Diffusion Model 生成图片过程 这个过程叫做 Reverse Process 1.2 Denoise Model 1.3 Noise Predicter 模块 1.3.1 问题： Noise Predicter 模型如何得到训练的数据集 1.3.2 解决方法: Forward Process or Diffusion
2024-11-25 20:58:58
1200
原创 无线感知会议系列【15】DPSense-2
该文章由Emily A. Cooper和Hany Farid共同撰写，发表于2023年。文章主要关注双变量正态分布（bivariate normal distributions）的径向和角向边缘化（polar marginalization），即相对于坐标系原点的极坐标变换下的边缘化。这种边缘化在许多领域，如电信、气象学、弹道学和计算神经科学中都有广泛应用。背景双变量正态分布常用于描述一对随机变量的联合概率密度。在实际应用中，经常需要相对于坐标系的原点对联合概率分布进行径向和角向的边缘化。
2024-11-21 14:43:14
910
原创 无线感知会议系列【15】DPSense-1
当前的解决方案是将测量的信号时间序列划分为每个手势的信号段，然后提取手势级别的与位置无关的特征，因此认为每个手势的所有信号段都同样重要。在本节中，为了实现稳健的手势识别，我们基于第3节的理解，提出了一种名为DPSense的新型框架，用于表征信号的感知质量，并重建精细的动态相位变化，以实现手势识别。相关反射路径的长度随着手的移动而变化，信号沿此路径传播的相位φ(t)也相应变化，这使得相位变化Δφ(t)，即信道状态信息（CSI）的动态相位变化，成为手部运动的有效指标。然而，先前的工作指出，
2024-11-20 16:16:17
1032
原创 【PyTorch][chapter 28] 揭秘 Transformer：缩放定律指南
概括我们介绍了 LLM 的各种缩放定律，研究了模型损失如何随着训练数据和参数数量的增加而变化。讨论包括对用于解释 LLM 缩放定律的 IsoLoss 轮廓和 IsoFLOPs 切片的解释，从而为优化计算资源提供了见解。最后，我们讨论了 FLOP 和 FLOPS 的概念，它们分别衡量计算量和速度。以 GPT-4 或 Llama3 为例，我们阐明了训练 LLM 所涉及的复杂性。
2024-11-19 15:52:09
1710
原创 无线感知会议系列【14】SignFi: Sign Language Recognition Using WiFi
摘要：这篇Paper 是用CNN 做的,用来做手语识别的模型输入： csi_tensor[M,N,S,T]M: tx 发送天线数量N: rx 天线数量S: 幅度和相位信息T:CSI matrix for each instance 数据集大小模型结构,跟斯坦福的HAR LSTM 有较大差异[batch_size, time, carrier_number] 单位 ：Computer Science Departmen
2024-11-13 10:31:09
834
原创 【PyTorch][chapter31][transformer-5] MQA,CQA, GQA
Trans翻译 《Variants of Multi-head attention: Multi-query (MQA) and Grouped-query attention (GQA)为例兼顾性能,和模型的效率Google 又陆续提出了三种注意力架构.当一个模型训练过度时，它会过度拟合或记忆训练数据，从而降低其分析相似但不同输入的能力。但如果继续训练会怎样呢？一项新的研究发现，过度拟合并不是终点。
2024-11-06 17:20:39
1105
原创 无线感知会议系列【13】A Survey on BehaviouA Doppler-Based Human Activity Recognition System Using WiFi Signals
这个最早在IEEE Sensors 看到这篇论文解读.摘要：无需设备的被动室内定位技术在许多应用中发挥着至关重要的作用，如老年人护理、入侵检测、智能家居等。然而，现有的无需设备的定位系统要么需要繁琐的离线训练，要么需要专用的特殊设备。
2024-10-30 16:32:47
899
原创 无线感知会议系列【12】A Survey on Behaviour Recognition Using WiFiChannel State Information
摘要 本文综述了利用商用WiFi系统的信道状态信息（CSI）在室内区域进行被动人体行为识别的最新进展。人体移动会导致无线信号反射发生变化，进而引起CSI的波动。通过分析不同活动对应的CSI数据流，并将其与已存储的模型进行对比，可以识别出人体行为。这一过程通过从CSI数据流中提取特征，并应用机器学习技术构建模型和分类器来实现。尽管文献中提出的这些技术表现出色。 但本文建议采用深度学习技术，如长短时记忆（LSTM）循环神经网络（RNN），并展示了其性能的提升。此外，我们
2024-10-25 15:12:57
937
原创 无线感知会议系列【11】Understanding and Modeling of Wifi Signal Based Human Activity Recognition-2
前言： 接CSDN《Understanding and Modeling of WiFi Signal Based Human Activity Recognition》 南京大学和密歇根州立大学 的一篇Paper重点了解CSI-Speed Model ：we see that the CFR power is a linear combinationof all the reflected paths and the speeds of path l
2024-10-23 15:20:15
1047
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人