【optiver】阅读笔记

done list

1. 数据读入（多线程）
2. 初次特征工程（order and book）
3. lgbm和nn的实现与融合

todo list

1. 交叉验证之——将group K-fold改进为Time-series K-Fold（具体实现请参阅代码notebook）
2. 特征选择之——特征可视化之——特征值-target分布
3. 特征选择之——特征可视化之——特征值-频率分布
4. 特征选择之——寻找possible magic feature
5. 特征工程之——VAE获取隐变量、测试cv分数
6. 特征选择之——特征可视化之——特征间相关系数矩阵
7. 特征选择之——去除相关系数1.0的特征、测试cv分数

模型选择之——用positional encoding + attention来读取时间序列数据

技术研究

optiver数据包含了什么？

【官方】数据介绍页面
【EDA】中文数据介绍以及英文数据介绍
数据主要包含以下两个部分：

1. 订单簿快照
2. 已执行交易

optiver文件介绍

book_train.parquet 训练订单簿数据，通过stock_id来分割的parquet文件。包含当前买1买2和卖1卖2的price以及size。

trade_train.parquet 训练交易数据，通过stock_id来分割的paequet文件。包含真正执行的交易数据。订单更新次数比交易完成量要多，因此交易数据比订单数据更稀疏。

测试集的feature文件同训练集一致。

train.csv 训练数据集的label，即训练集的波动率大小

test.csv 测试数据集的label。比训练集多一个row_id，用于提交成绩。

submission.csv 输出的predictions，包含row_id和target。

optiver数据产生的灵感

1. trade可以做两个特征：price*size和price*size/order_count，即成交额和平均订单成交额。因为原始数据只有成交量和订单量
2. wap计算方法可以再加一个 w a p 5 = ( a s k p r i c e 1 ∗ b i d s i z e 1 + a s k p r i c e 2 ∗ b i d s i z e 2 + b i d p r i c e 1 ∗ a s k s i z e 1 + b i d p