DataWhale 机器学习夏令营第二期——AI量化模型预测挑战赛 学习记录

DataWhale 机器学习夏令营第二期
——AI量化模型预测挑战赛
已跑通baseline，线上得分0.51138, 跑通修改后进阶代码，线上得分0.34497

学习记录一 (2023.08.06)

按照鱼佬直播分享按照以下常见思路分析机器学习竞赛：

1. 问题建模

1.1 赛事数据

数据集情况

给定数据集： 给定训练集（含验证集）， 包括10只（不公开）股票、79个交易日的L1snapshot数据（前64个交易日为训练数据，用于训练；后15个交易日为测试数据，不能用于训练）， 数据已进行规范化和隐藏处理，包括5档量/价，中间价，交易量等数据（具体可参考后续数据说明）。
预测任务：利用过往及当前数据预测未来中间价的移动方向，在数据上进行模型训练与预测
输入数据：
行情频率：3秒一个数据点（也称为1个tick的snapshot）；
每个数据点包括当前最新成交价/五档量价/过去3秒内的成交金额等数据；
训练集中每个数据点包含5个预测标签的标注； 允许利用过去不超过100tick（包含当前tick）的数据，预测未来N个tick后的中间价移动方向。
预测时间跨度：5、10、20、40、60个tick，5个预测任务；
即在t时刻，分别预测t+5tick，t+10tick，t+20tick，t+40tick，t+60tick以后： 最新中间价相较t时刻的中间价：下跌/不变/上涨。

数据分为训练集和测试集，训练集包括sym0 ~ 9共10个sym从date0 ~ 63共64天每天上午和下午的数据，测试集则为后续date64 ~ 78共14天的数据。数据量较大，典型的时间序列预测问题。时间步长为 3 s， 范围从 09:40:03~ 11:19:57，13:10:03~14:49:57。
思路：

• 在构建时序特征时需要考虑按照每个上下午，分组进行构造来保证时间步长一致。
• 对10只股票分开处理
• 对5个任务分开处理， N=5,10 为一类， N = 20,40,60 一类

数据中缺失值

train_df.isnull().sum()

不存在缺失值

类别和数值特征的基本分布

查看数值型特征在训练集和测试集上的数据分布

1. 价格类数值变量数值比较稳定，训练和测试集分布范围基本一致，如’n_close’,‘n_midprice’, ‘n_bid1’, 'n_ask1’等
2. 而和交易量相关的数值变量训练集的变化比测试集较大， 训练集中存在交易量远大于测试集交易量的数据，后续分析可以研究这些高交易量对应的日期是否在一天，是否为特殊时刻，以及是否为异常值

1.2 评价指标

中间价的计算方式

$$n\_midprice=\frac{n\_bid1+n\_bid2}{2}$$
其中，一个为0取另一个值

分析：
查看为$n\_bid1,n\_bid2$中存在0的行：

train_df[(train_df['n_bid1'] == 0 )| (train_df['n_ask1'] == 0)].index

Index([   6641,    6642,    6645,    6646,    6647,    6648,    6649,    6650,
          6651,    6652,
       ...
       2446840, 2446842, 2446844, 2446845, 2446846, 2446848, 2446918, 2446919,
       2446920, 2446921],
      dtype='int64', length=175414)

上面为$n\_bid1,n\_bid2$中存在0的行索引，共175414行存在为0的值。这也说明了之前的箱线图分析中，交易值偏向于低端的原因，因此，后续可以对交易量相关特征进一步分析，包括：1）去除0值观察分布， 2）取对数。

去0后其实对分布影响不大，含0的数据量太少了：

此外，不存在都为0的行，该结果在缺失值分析中已经得到了。

价格移动方向说明

以涨跌幅为基准，分为 2（涨）、1（不变）、0（跌）
$$Labe{l}_t^N=\sigma (n\_midpric{e}_{t+N}-n\_midpric{e}_t)$$
赛题公式说明
这里我目前还没理解清楚，按照给的公式我去计算了下标签，发现不太一致。另外，如果有了这个具体的指标确定的话不是可以直接用于测试集的计算？

1.3 线下验证

Baseline 采取的是K折交叉验证，时序数据为了保证数据一致性，后续打算采用训练集中data50~63共14天数据作为验证集以尽可能保持线上线下一致性，用来分析后续特征工程中衍生特征的好坏。

---

下一步打算对数据进一步分析，构建交叉特征，同时对不同股票不同天的上下午构建时序特征，对五种不同预测任务构建不同的模型，并采用训练集后14天作为验证集进行验证(K折太久了）。此外，收集些业务信息，感觉对赛题的理解还不够清晰。

PS：

1. 一轮赛制，按照目前的排行榜基本无了
2. 认真看赛题，两次提交失败都是因为没注意到赛题已经说明 文件详细说明：以zip文件格式提交，编码为UTF-8，文件格式：submit.zip文件，包含文件夹submit

---

---

学习记录二（2023.08.09）

2. 特征工程

每次加载和训练模型的速度都太慢了，做了些优化。

1. 按照群里的提示把数据存为了 pickle 格式

# 保存为 pickle
with open('train.pickle', 'wb') as f:
	pickle.dump(train_df, f)
	
with open('test.pickle', 'wb') as f:
	pickle.dump(train_df, f)
	
# 加载 pickle
train_df = pd.read_pickle('train_pickle')
test_df = pd.read_pickle('test_pickle')

2. 为了更好的评估特征，只选用了sym=0第0股的股票的label_5进行线下特征评估。
   同时也不采用K折交叉验证，另外考虑时序性的问题，手动划分51-57天数据作为验证集，63天暂时舍去，0-50天作为训练集。

train_df1 = train_df[train_df['sym'] == 0].sort_values(by = ['date','time'])
cols = [f for f in train_df1.columns if f not in ['uuid','time','file', 'label_5', 'label_10','label_20','label_40','label_60']]
train_df1_train = train_df1[train_df1['date'].isin(train_df1.date.unique()[:-8])]
train_df1_val = train_df1[train_df1['date'].isin(train_df1.date.unique()[-8:-1])]
train_x, train_y = train_df1_train[cols], train_df1_train['label_5']
val_x, val_y = train_df1_val[cols], train_df1_val['label_5']

结合上一次对赛题的一点点理解和和目前的比赛情况（好几个刷到0.99的）, 然后我尝试了之前数据探索思考的想法，构建了穿越特征，打算看看有什么效果，线下表现非常好，然后我就在baseline的基础上附加了穿越特征，同时为了更快的得到结果，取消了K折验证。结果刷到0.99899… 虽然并没有用到测试集来训练，但本身这种方法也是不符合实际情况的，所以之后还是应该按照正常的特征衍生思路来进行比赛。

收集了些关于时间序列的建模思路：

1. 交叉验证：滚动交叉验证

import numpy as np
from sklearn.model_selection import TimeSeriesSplit
X = np.array([[1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4]])
y = np.array([1, 2, 3, 4, 5, 6])
time_series = TimeSeriesSplit()
print(time_series)
for train_index, test_index in time_series.split(X):
    print("TRAIN:", train_index, "TEST:", test_index)
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]

7种交叉验证方法

2. 基本规则方法

   • 加权平均
   • 指数平滑
     时间序列预测：指数平滑法及python实现

3. 时间序列模式

   • 趋势性
     • 一阶趋势：构建相邻时间单位的数据差分、比例；
     • 二阶趋势：反映一阶趋势变化
   • 周期性
     • 环比，将上周期同时期数据作为特征
     • 构造时间特征，如时间在周期中的位置，距离峰值的时间差
   • 相关性（自相关）：shift平移、历史时刻统计值
   • 随机性：异常标记 或者 预处理剔除

4. 特征提取

   • 历史平移
   • 窗口统计
   • 序列熵特征
   • 时间特征
   • 统计特征