调参太费力?自动化机器学习(AutoML)来了!

机器学习项目中最折腾人的环节是什么?是特征工程?是模型选择?还是参数调优?

先来看看机器学习项目实战可划分为哪几个具体阶段。

我在《零基础学机器学习》一书将机器学习项目的实战过程归纳如下:

  1. 问题定义,即抓准机器学习应用场景
  2. 数据准备和特征工程
  3. 模型(算法)的选择
  4. 机器学习(训练机器的过程),确定参数和超参数
  5. 评估和性能优化

在项目实战中,这些步骤还需要反复迭代,以实现最优的效果。待到机器学习模型训练完毕,参数都确定后,还要进行最后的部署,让模型在生产系统中上线工作。

上面的流程中,模型的选择和构建是关键。不过最耗时的,要数特征工程和超参数调优,以及模型的上线部署环节。

特征工程的麻烦,参数调优之苦恼,资深的机器学习调包侠和炼丹师们一定早有体会。但是机器学习模型的部署过程难度何在呢?主要在于算法需要针对每个不同的实际场景进行配置和调整,因此经常变动,这使得部署过程也非常耗费人工,效率不高且容易出错。有时候会因为赶时间,过早将模型从实验阶段转移到生产阶段,导致它们发挥不出最佳效果;也有时会因为花了太多时间进行参数调优导致部署延迟。

如何解决这几个痛点?

随着机器学习的普及,近年来自动化机器学习(Automated machine learning, AutoML)框架开始出现在炼丹师们的视野之中。AutoML的目的是尽可能将特征工程、参数配置、模型选择以及上线部署过程自动化,使整个机器学习项目变得更加高效。

调参和部署的负担减轻之后,炼丹师们就可以花更多时间来关注机器学习模型本身,尝试不同的架构,设计并优化新的算法。

自动机器学习包括下面内容:

  • 自动化特征工程
  • 自动化模型选择和超参数调整
  • 自动选择神经网络架构
  • 自动部署机器学习模型

原来由手工完成的各个机器学习环节都可以通过自动化机器学习框架进行。

1. 自动化特征工程

机器学习算法的性能很大程度上取决于数据特征的质量。对于数据科学家来说,特征工程是一项劳动密集型的工作,涉及大量的试验,深厚的领域知识。自动化特征工程的目的是通过不断迭代、调整,自动创建出新的特征集,直到模型达到令人满意的准确性为止。
下面就列出并简要描述一些自动特征功能工程的框架,这些框架可以用于结构化的事务和关系数据集。

  • DataRobot使用“模型蓝图”来实现自动化特征工程,该模型将不同的预处理步骤堆叠在机器学习过程中。它对数据应用的标准预处理技术包括one
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值