时间序列预测中特征构建

传统统计学习方法: naive approach, moving average, Holt linear, exponential smoothing, ARIMA, and Prophet
现代机器学习方法: 树模型等
深度学习方法: LSTM、Seq2seq、Transform-XL等

树模型需要人为构建特征,同时预测值不可超越区间内取值的上限。
深度学习网络,可以发现输入数据之间的交互关系,同时可以发现趋势。

根据数据可以尝试不同的方法,选择较优的方法。下面是树模型的构造特征的方法。

1. 时间戳特征

也是时点特征。

  • 年、月、日、时、分、星期等。
    由此扩展出来的是否周末(销量等差异)、节假日(销量差异)、白昼(温度差异)、是否发薪日等(月中、月末购买意向)、月份的第几周(上半月、下半月之类)等。

  • 小时0-23特征,0与23的差距并不像数值上的那么大,通过sin,cos处理将小时处理成循环取值。

  • 日期特征当做类别特征还是数值特征?
    对于趋势明显的,把其视为数值比类别效果好,这个我在M5上做过验证。解释如下:

    • 时间序列短期有周期性,长期整体呈现增长趋势。这样一来,时间特征的取值就有了可比较大小的意义。
    • 将时间直接作为类别特征,会有一些问题。LGBM原生支持类别特征,它是这么处理的:利用many-vs-many切分方式将类别特征切到两个子集,不断穷举从而实现类别特征最优划分。穷举太慢,Fisher将时间复杂度由 O ( 2 k ) O(2^k) O(2k)优化到 O ( k l o g k ) O(klogk) O(klogk)。也就是,类别特征会不断地尝试分两堆,这两堆极可能不是时间连续的。总之,就是类别失去了取值大小比较的意义。
      【(扩展。不用one-hot,因为one-vs-rest的两大缺点:1)one-hot其实是某一特征是某一个值与不是某一个值,特征取值很多时,会特稀疏,势必造成类别取值不进货表,用LGBM特征选择时用的增益体现不了,几乎都是整体的。2)决策不准。因为第一个样本不均衡带来的,LGBM的决策依赖于数据的统计信息,不均衡,势必造成统计信息不准确,效果可能很差)。】

2. 时域特征

2.1 窗口统计特征

以上是时间点特征,这里是时间段特征。
个人解释,时间序列的预测在长期或短期内存在规律包括周期性等,这种规律性通过窗口内统计特征体现。

  • 均值
  • 中位数
  • 分位数
  • 最大/小值
  • 标准差
  • 偏度
  • 峰度
  • 极差
  • 四分位差
  • 0个数
  • 不同取值个数(nunique)

以上特征就相当于另类编码,或离散化。涉及到平均情况以及离散程度等。

2.2 滞后特征

时间序列之所以可以预测,因为我们研究时间序列很重要的一个应用(或者出发点),是希望通过时间序列的历史数据来得到其未来的一些预测。换句话说,我们希望时间序列在历史数据上的一些性质,在将来保持不变,这不就是时间平移的不变性么?反过来想,如果时间序列不是平稳的,由历史数据得到的统计性质对未来毫无意义,那么研究时间序列还有什么意义呢?参考
这也就为滞后特征带来了意义。其实可以这样理解,当前或者未来所处的片段,是过去的一个缩影。
滞后1期、2期、3期。。。其实,这种连续的滞后是没必要的,极可能产生信息冗余,建议不要整太多。可以整一些滞后7、14、28、60、120等这种可以解释的。
通常滞后特征与滚动、差分等一起使用。

  • 滞后滚动平均。shift(14).rolling(7).mean()(滞后14期的7步移动平均)
  • 滞后差分。shift(14).diff(1).(滞后14期的1阶差分,差分主要是去趋势)
  • 同比/环比等。

延伸。滞后、差分等特征会带来缺失值,处理:原文或以下原话

  • M5比赛中数据量较多时。按日期删除一些行,其余保持原样(树模型有一些缺失策略)
  • -1填充。以便转为整型。
  • 平均值填充。(不建议)
  • 向前、前后填充等
# 原文
# There are few options to work 
# with NaNs in train set
## 1. drop it train_df[train_df['d']>MAX_LAG_DAY] 
## 1.1 in our case we already dropped some lines by release date
##     so you have find d.min() for each id
##     and drop train_df[train_df['d']>(train_df['d_min']+MAX_LAG_DAY)] 
## 2. If you want to keep it you can 
##    fill with '-1' to be able to convert to int
## 3. Leave as it is
## 4. Fill with mean -> not recommended

下面说一说个人对滞后局限的理解:

  • 内存限制,不会滞后太多特征。
  • 冗余。稠密的lags也势必造成信息冗余,例如,滞后1、2、3等连续的期。
  • 滞后太多,在LGBM中做col sample时可能其他特征就被忽略了。
  • 训练、预测滞后。这决定了预测值是否作为滞后特征的问题。
    • 预测作为滞后特征。比如,在天级别预测任务中,构造滞后1期这个特征,在训练集上训练没毛病,预测第一天也没问题。问题就在预测第二天的这个滞后1期的特征怎么来?可以将预测出来的第一天的数据滞后给第二天当做特征。预测存在误差,这种可能存在误差传递并随时间加大的风险。
    • 预测不作为滞后特征。在M5的预测未来28天销量的任务中,滞后特征选择28+1,…作为滞后特征。这样就可以不用使用预测值作为滞后了。

3. 频域特征

做STFT之类。频域特征最大的问题就是对时间的不敏感,而且还存在边缘效应,所以在预测未来时间点的场景下,基本没有什么作用。参考

4. 类别编码

这里是对类别特征进行聚合统计信息,相当于另类编码。

  • 单独统计。按州计算销量均值、标准差等统计信息。
  • 组合统计。按州、店铺联合特征计算销量统计信息。
  • ID类特征Embedding。
  • 另类TS。
    这里说的TS就是类似Catboost做的事情,直接类别特征TS会造成目标泄露、过拟合问题。Catboost提出了数据虚拟时间的概念,也就是数据有一个顺序,我们可以对当前特征值位置之前的y求均值作为该处特征值的编码。
    以下是科大讯飞温室温度预测中的特征处理方式,源于【Coggle数据科学】
# 历史信息提取
data_df['dt'] = data_df['day'].values + (data_df['month'].values - 3) * 31 # 有了大小的可比较概念

for f in ['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo', 'temperature']:
    tmp_df = pd.DataFrame()
    for t in tqdm(range(15, 45)):
        # 类似Catboost的TS编码,有一个时间顺序的概念
        tmp = data_df[data_df['dt']<t].groupby(['hour'])[f].agg({'mean'}).reset_index() 
        tmp.columns = ['hour','hit_{}_mean'.format(f)]
        tmp['dt'] = t
        tmp_df = tmp_df.append(tmp)
    
    data_df = data_df.merge(tmp_df, on=['dt','hour'], how='left')

5. 交叉特征

上面都已经提到了组合特征,这里再强调一下,多个特征组合也是非常重要。LGBM中内含互斥特征捆绑EFB策略,即EFB算法利用特征和特征间的关系构造一个加权无向图,并将其转换为图着色的问题来求解,求解过程中采用的贪心策略。说白了就是对于稀疏特征,将特征与特征之间共同取值为非0的较少的特征进行合并。这里其实主要是减少特征数量,从而减少耗时。
我们构造的交叉特征可以反应不同特征组合,从而可能发现惊喜。
以下是科大讯飞温室温度预测中的交叉特征处理方式,源于【Coggle数据科学】

# 基本交叉特征
for f1 in tqdm(['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']+group_feats):
    
    for f2 in ['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']+group_feats:
        if f1 != f2:
            colname = '{}_{}_ratio'.format(f1, f2)
            data_df[colname] = data_df[f1].values / data_df[f2].values

以下源于M5的id交叉信息的统计特征。

########################### Apply on grid_df
#################################################################################
# lets read grid from 
# https://www.kaggle.com/kyakovlev/m5-simple-fe
# to be sure that our grids are aligned by index
grid_df = pd.read_pickle('../data/output/grid_part_1.pkl')
grid_df[TARGET][grid_df['d']>(1941-28)] = np.nan
base_cols = list(grid_df)

icols =  [
            ['state_id'],
            ['store_id'],
            ['cat_id'],
            ['dept_id'],
            ['state_id', 'cat_id'],
            ['state_id', 'dept_id'],
            ['store_id', 'cat_id'],
            ['store_id', 'dept_id'],
            ['item_id'],
            ['item_id', 'state_id'],
            ['item_id', 'store_id']
            ]

for col in icols:
    print('Encoding', col)
    col_name = '_'+'_'.join(col)+'_'
    grid_df['enc'+col_name+'mean'] = grid_df.groupby(col)[TARGET].transform('mean').astype(np.float16)
    grid_df['enc'+col_name+'std'] = grid_df.groupby(col)[TARGET].transform('std').astype(np.float16)

keep_cols = [col for col in list(grid_df) if col not in base_cols]
grid_df = grid_df[['id','d']+keep_cols]

先写到这里,后期想到再补充。

©️2020 CSDN 皮肤主题: 撸撸猫 设计师:设计师小姐姐 返回首页