【20211201】【代码优化】换个思路，优化掉 dropna / value_counts，时间节省 80%

一、问题背景

        定义一个函数，该函数实现长度为 15s，步进为 5s 的滑窗中值估计，但有两个约束条件：

（1）在窗口内，参数二不能发生变化；

（2）在窗口内，参数三的绝对值小于 3。

二、我的最初思路

（1）计算参数二的差分，如果做完差分后的数据里有非零值，那么就不满足条件1；

（2）计算参数三中数据绝对值的最大值，判断最大值是否小于3。

def BPM_statistics_bySlideWin(data_bpm_1Hz, data_rangebin, data_powRatio):
''' 
    data_bpm_1Hz：待估计的数据
'''
    winlen, steplen = 15, 5   # 窗长和步进
    datalen, halfWin = len(data_bpm_1Hz), winlen // 2
    data_bpm_5s = []
    for i in range(halfWin, datalen-halfWin, steplen):
        numRangebinChange = winlen - pd.DataFrame(data_rangebin[i-halfWin : i+halfWin+1]).diff().dropna()[0].value_counts()[0] - 1
        maxAbs_powRatio = np.max(np.abs(data_powRatio[i-halfWin : i+halfWin+1]))
        if numRangebinChange == 0 and maxAbs_powRatio < 3:
            data_bpm_5s.append(np.median(data_bpm_1Hz[i-halfWin : i+halfWin+1]))
        else:
            data_bpm_5s.append(None)

    return data_bpm_5s

        结果就是，这种方法特别费时。使用火焰图分析了代码运行时间分布，发现 dropna() 和 value_counts() 费时最多。如下图：

三、代码优化 

        为此，我转换了下思路，对于问题（1），其实利用 set() 无重复元素的特性，判断 set(数据) 的长度是否为 1 即可~

def BPM_statistics_bySlideWin(data_bpm_1Hz, data_rangebin, data_powRatio):
    winlen, steplen = 15, 5
    datalen, halfWin = len(data_bpm_1Hz), winlen // 2
    data_bpm_5s = []
    for i in range(halfWin, datalen-halfWin, steplen):
        maxAbs_powRatio = np.max(np.abs(data_powRatio[i-halfWin : i+halfWin+1]))
        if len(set(data_rangebin[i-halfWin : i+halfWin+1])) == 1 and maxAbs_powRatio < 3:
            data_bpm_5s.append(np.median(data_bpm_1Hz[i-halfWin : i+halfWin+1]))
        else:
            data_bpm_5s.append(None)

    return data_bpm_5s

        改完之后，运行时间大大减少，运行时间性能提升约 80% ~！！！ 

---

        后记，代码费时久的话，要多思考哦~~~。最开始不熟练的话，火焰图是个好东西！使用方法详见：【20211201】【代码优化】使用 cProfile 和 flameprof 绘制火焰图，调优 Python 代码性能