kaggle竞赛宝典 | 量化竞赛第一名的网络模型

本文来源公众号“kaggle竞赛宝典”，仅用于学术分享，侵权删，干货满满。

原文链接：量化竞赛第一名的网络模型

1 简介

今天我们重温Jane Street 大赛第一名的网络模型。该次赛事数据集包含了一组匿名的特征，feature_{0...129}，代表真实的股市数据。数据集中的每一行代表一个交易机会，你需要预测一个动作值：1表示进行交易，0表示放弃。每笔交易都有一个相关的权重和响应，它们一起代表交易的回报。日期列是一个整数，表示交易的日期，而ts_id表示时间顺序。

该赛事的第一名选手采用的是AutoEncoder+MLP的网络模型。一起回顾学习一下。

2 模型

2.1 模型结构

模型主要由三个模块组成：

1. 加入高斯噪音的Autoencoder模块；

2. Decoder之后数据的原始Loss；

3. 原始数据+Encoder数据的原始问题的Loss；

2.2 相关细节

1. 使用自编码器创建新特征，并与原始特征连接，作为下游MLP模型的输入

2. 在每个交叉验证分割中一起训练自编码器和MLP，以防止数据泄漏

3. 向自编码器添加目标信息（监督学习），迫使其生成更相关的特征，并为梯度的反向传播创建捷径

4. 在编码器前添加高斯噪声层，以进行数据增强并防止过拟合

5. 使用Swish激活函数代替ReLU，以防止“死亡神经元”并平滑梯度

6. MLP使用批归一化和Dropout

7. 使用3个不同的随机种子训练模型，并取平均值以减少预测方差

8. 仅使用在最后两个交叉验证分割中训练的模型（具有不同种子），因为它们已经看到更多的数据

9. 仅监控MLP的二元交叉熵损失，而不是整体损失，以便早停

10. 使用Hyperopt找到最佳超参数集

3 核心代码

def create_ae_mlp(num_columns, num_labels, hidden_units, dropout_rates, ls = 1e-2, lr = 1e-3):
    
    inp = tf.keras.layers.Input(shape = (num_columns, ))
    x0 = tf.keras.layers.BatchNormalization()(inp)
    
    encoder = tf.keras.layers.GaussianNoise(dropout_rates[0])(x0)
    encoder = tf.keras.layers.Dense(hidden_units[0])(encoder)
    encoder = tf.keras.layers.BatchNormalization()(encoder)
    encoder = tf.keras.layers.Activation('swish')(encoder)
    
    decoder = tf.keras.layers.Dropout(dropout_rates[1])(encoder)
    decoder = tf.keras.layers.Dense(num_columns, name = 'decoder')(decoder)

    x_ae = tf.keras.layers.Dense(hidden_units[1])(decoder)
    x_ae = tf.keras.layers.BatchNormalization()(x_ae)
    x_ae = tf.keras.layers.Activation('swish')(x_ae)
    x_ae = tf.keras.layers.Dropout(dropout_rates[2])(x_ae)

    out_ae = tf.keras.layers.Dense(num_labels, activation = 'sigmoid', name = 'ae_action')(x_ae)
    
    x = tf.keras.layers.Concatenate()([x0, encoder])
    x = tf.keras.layers.BatchNormalization()(x)
    x = tf.keras.layers.Dropout(dropout_rates[3])(x)
    
    for i in range(2, len(hidden_units)):
        x = tf.keras.layers.Dense(hidden_units[i])(x)
        x = tf.keras.layers.BatchNormalization()(x)
        x = tf.keras.layers.Activation('swish')(x)
        x = tf.keras.layers.Dropout(dropout_rates[i + 2])(x)
        
    out = tf.keras.layers.Dense(num_labels, activation = 'sigmoid', name = 'action')(x)
    
    model = tf.keras.models.Model(inputs = inp, outputs = [decoder, out_ae, out])
    model.compile(optimizer = tf.keras.optimizers.Adam(learning_rate = lr),
                  loss = {'decoder': tf.keras.losses.MeanSquaredError(), 
                          'ae_action': tf.keras.losses.BinaryCrossentropy(label_smoothing = ls),
                          'action': tf.keras.losses.BinaryCrossentropy(label_smoothing = ls), 
                         },
                  metrics = {'decoder': tf.keras.metrics.MeanAbsoluteError(name = 'MAE'), 
                             'ae_action': tf.keras.metrics.AUC(name = 'AUC'), 
                             'action': tf.keras.metrics.AUC(name = 'AUC'), 
                            }, 
                 )
    
    return model

4 参考文献

1. https://www.kaggle.com/competitions/jane-street-market-prediction/discussion/224348

2. https://www.kaggle.com/code/gogo827jz/jane-street-supervised-autoencoder-mlp

THE END !

文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。