kullollo的博客

本文提出的AutoAugment方法可以依据验证集上的损失值自动选择数据增强策略。

本文发现特征工程对低阶和高阶交互特征有明显偏向，本文提出了一种既关注低阶特征又关注高阶交互特征的模型：`DeepFM`，并在实验中发现模型有效。

巨大的特征空间给推荐系统的训练带来困难，本篇论文提出一个基于点积操作的神经网络，它用一个嵌入层学习分类数据的分布表示，通过`product layer`学习不同领域特征的交互特征，进而获得高阶特征的交互作用。实验表明`product layer`有效...

特征工程是许多预测问题成功的关键，但这一过程需要大量人力开销并且依赖于经验知识。DNN是解决这一问题的方法，但这种方法表示特征之间的交互是隐式。本篇论文提出的Deep & Cross Network (DCN)在保证了DNN对于特征交互的基本表示的同时，通过引入cross network使得其在特定阶数的交互关系时更加节省空间，并用CTR实验证明了DCN的这一特性。...

对query的编码方式会影响下游基数估计的准确性，以往的one-hot编码方式无法捕捉复杂语义环境，例如查询的结构，数据库模式的定义和列的分布差异。为了解决这个问题，作者提出了一个新的预训练SQL表示模型。它将语言表示方法扩展到SQL查询。我们提出了一个自动机来编码查询结构，并应用一个图神经网络来编码以查询为条件的数据库模式信息。然后，通过采用注意力机制，建立了一个新的SQL编码器，以支持即时的查询感知模式链接。在真实数据集上的实验结果表明，用我们的查询表示法取代单次编码可以显著提高现有基于学习的模型在几个

数据预处理与数据工程是机器学习发展至今的一大瓶颈，好的数据预处理可以极大提升机器学习预测的准确性。然而现在实践中的数据预处理与数据工程主要是基于人的经验，并没有一个可以依赖的强有力算法。本篇论文提出了一个编码数据的方式，自动进行数据预处理与数据工程，节省人力的同时也在实验中取得不错效果。...

本次阅读的6篇论文并非学术论文，而是基于工业实践的论文。因此阅读时更侧重于论文中系统实现情况，实验结果，以及未来可能使用方向等。ExDRa: Exploratory Data Science on Federated Raw Data这篇论文首先阐明数据科学是一个开放不成熟的领域，许多问题并未得到很好的解决，许多问题有多种解决思路等待发现。本文提出了ExDRa系统旨在提供一个帮助数据科学家探索数据内在关系的基础工具，这一工具主要针对分布式，异构的，原始的数据源。INTRODUCTION部分使用具体例子