AI 人工智能高速发展数十年后的现在,企业对于发展 AI 应用的进程,从探索期接续进入构建、扩展及输出的阶段。
近期 AI 产业的三大发展趋势:AutoML
(自动机器学习)、MLOps
(机器学习的开发及运维)及 XAI
(可解释性的AI)等解决方案,将加快企业发展智慧化应用的脚步。
AutoML
AutoML 解决了过去ML训练及建构模型费时的问题,也缓解AI人才不足困境,几乎 ML 开发过程中的每一重复性环节,都能利用 AutoML 技术来简化,进而缩短上线到生产的时间。
一些活跃的开源项目:
- Neural Network Intelligence (star: 11k):用于自动化机器学习生命周期的开源 AutoML 工具包,包括特征工程、神经架构搜索、模型压缩和超参数调优。
- Autokeras (star: 8.4k):基于 Keras 的 AutoML 系统。 AutoKeras 的愿景是让每个人都可以使用机器学习。
- Katib (star: 1.2k):Katib 是一个用于自动机器学习 (AutoML) 的 Kubernetes 原生项目。 Katib 支持超参数调优、提前停止和神经架构搜索。
- mljar-supervised (star: 1.9k):在表格数据上进行 AutoML 的 Python 包,具有特征工程、超参数调优、模型解释和自动文档等功能。
MLOps
而随着 AI 成果的日益扩展,企业开始陆续引入 MLOps 方案,来将 ML 开发与运维流程标准化,促使开发成果规模化,将有助企业建构 AI 软件文化,同时提升发展 AI 应用成效。
一些活跃的开源项目:
- ClearML (star: 3.1k):通过自动 CI/CD 来简化您的 ML 工作流程。 包括实验管理,MLOps 和数据管理。
- MLFlow (star: 11.7k):一个简化机器学习开发的平台,包括跟踪实验、将代码打包为能够可复现的运行以及共享和部署模型。
- Polyaxon (star: 3.1k):使用生产级 MLOps 工具重现模型实验、自动化和扩展您的数据科学工作流。
- Hopsworks (star: 0.7k):Hopsworks 及其特征平台(Feature Store)是一个开源数据密集型 AI 平台,用于大规模开发和操作机器学习模型。
XAI
最后,在进入输出AI应用的阶段,XAI解决方案有助于确保AI应用决策建议的合理性;同时,提高模型的透明度和可追溯性,在建立AI应用的可信度之际,并持续优化ML模型,有利于推助企业发展新商业模式。预期XAI将成为AI技术普及的关键之一。
一些活跃的开源项目:
- InterpretML :拟合可解释的模型,解释黑盒机器学习。
- alibi (star: 1.6k):一个针对机器学习模型检查和解释的开源 Python 库。该库的重点是为分类和回归模型提供黑盒、白盒、局部和全局解释方法的高质量实现。
- Fairlearn (star: 1.2k):用于评估和提高机器学习模型公平性的 Python 包。
- SHAP (star: 16k):一种博弈论方法来解释任何机器学习模型的输出。
- Netron (star: 18k):用于神经网络、深度学习和机器学习模型的可视化工具。
总结
本文谈论了这几年企业已由发展AI应用的探索期,陆续进入构建 AI 所需的资源、扩展及输出AI应用等阶段。AI技术发展日新月异,促使AI产业化的趋势方兴未艾,不过企业发展AI应用仍面临各阶段挑战,随着AI产业持续优化,透过AutoML、MLOps及XAI等解决方案,分别改善 ML(机器学习)模型繁琐开发过程、ML 开发及运维团队协作效率,与 ML 模型缺乏可信度等企业发展AI应用时所面临的困境,这将推动 AI 技术的加速普及。同时,本文提供了一些活跃的开源项目供大家参考。