python检测序列数据连续缺失片段

问题描述

在数据预处理过程中,需要进行缺失值分析,某些情况下我们需要知道数据是否有连续缺失的片段,缺失的片段分布在哪些地方,以及缺失片段的长度。

解决方式代码

import pandas as pd

def detect_consecutive_missing(series, threshold):
    # 创建一个布尔序列,如果值是NaN,则为True,否则为False
    missing = series.isna()
    cumsu_value = 0
    cumsu_ls = []
    for i in missing:
        if i:
            cumsu_value += 1
        else:
            cumsu_value = 0
        cumsu_ls.append(cumsu_value)
    new_missing_groups = pd.Series(cumsu_ls)
    return new_missing_groups, new_missing_groups[new_missing_groups == threshold].index
   
# 示例使用
# 创建一个模拟的时序数据
data = pd.Series([None, 1, None, None, None, 3, None, 5, 6, None, None, 10])
# 检测连续缺失2个及以上的情况
consecutive_missing, gl2_num = detect_consecutive_missing(data, threshold=2)
print(consecutive_missing)
print(gl2_num)
print("缺失片段长度大于等于2的片段数量", len(gl2_num))
print("最长缺失片段长度", consecutive_missing.max())

结果可视

在这里插入图片描述

第一部分是对应的缺失片段长度,第二部分是缺失片段长度大于等于3的片段第二个缺失值所在位置索引。
第三个结果是片段数量,第四个结果是缺失最长片段长度。

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值