路卫杰的专栏

原创 特征工程的重构

因为历史原因，目前我们的机器学习所需要的各种特征数据是通过一个MR程序来进行数据抽取，特征转换，数据存储，数据监控等，一个MR任务承担了太多了功能，导致程序的可读性，扩展性非常差，每次增加一个数据的抽取，转换都需要修改很多代码，而且极易出错，当要适应一个新的模型所需要的新型特征转换的时候，目前的特征工程更是不能胜任。基于此，痛中思痛，下定决心重构特征工程。首先这个特征工程的架构不是一蹴而就的，