天才少年Melody-CSDN博客

原创 AutoML-第九章-自动统计学家

第九章：自动统计学家 (The Automatic Statistician)摘要自动统计学家项目旨在使数据科学自动化，以最少的人工干预就可以从原始数据集中生成预测和易于阅读的报告。除了基本图形和统计信息外，生成的报告还包含有关数据集的高级洞察，这些洞察来自于（1）数据集模型的自动构建（2）这些模型的比较以及（3）将这些结果转化为自然的语言描述的软件组件。本章描述了此类自动统计学家系统的通用架构，并讨论了一些设计决策和技术挑战。简介机器学习（ML）和数据科学是紧密相关的研究领域，专注于从数据自动学习

2021-03-25 10:48:10 356

原创 AutoML-第八章-TPOT

第八章：TPOT: 自动化机器学习基于树的管道优化工具摘要随着数据科学日益成为主流，对数据科学工具的需求将不断增长，这些工具应更加易于访问，灵活和可扩展。为响应这一需求，自动化机器学习（AutoML）研究人员已开始构建可自动设计和优化机器学习管道的过程的系统。在本章中，我们介绍 TPOT v0.3 ，这是一个基于开源遗传程序的 AutoML 系统，该系统优化了一系列特征预处理器和机器学习模型，目的是在有监督的分类任务上最大化分类准确度。我们对 TPOT 进行了一系列 150 项监督分类任务的基准测试，发

2021-03-25 10:47:19 739

原创 AutoML-第七章-AutoNet

第七章：自动调整的深度神经网络摘要AutoML 的最新进展产生了可以与机器学习专家在监督学习任务上竞争的自动化工具。在这项工作中，我们介绍了两个版本的 Auto-Net ，它们提供了自动调整的深度神经网络，而无需任何人工干预。第一个版本是 Auto-Net 1.0，它使用贝叶斯优化方法 SMAC，基于屡获殊荣的系统 Auto-sklearn 的思想，并使用 Lasagne 作为基础深度学习（DL）库。最新的 Auto-Net 2.0 建立在贝叶斯优化和 HyperBand 的最新组合（称为 BOHB）的

2021-03-25 10:46:36 675 3

原创 AutoML-第六章-Auto-sklearn

第六章：Auto-sklearn: 高效和鲁棒的自动化机器学习摘要机器学习在各种应用中的成功导致对机器学习系统的需求不断增长，这些机器学习系统可以由非专家立即使用。为了在实践中有效，此类系统需要自动为手头的新数据集选择良好的算法和特征预处理步骤，并设置其各自的超参数。借助有效的贝叶斯优化方法，最近的工作已开始解决这种自动机器学习（AutoML）问题。在此基础上，我们引入了一个基于 Python 机器学习包 scikit-learn 的强大的新 AutoML 系统（使用 15 个分类器，14 个特征预处理

2021-03-25 10:45:53 742

原创 AutoML-第五章-Hyperopt-Sklearn

第五章：Hyperopt-Sklearn摘要Hyperopt-sklearn 是一个软件项目，可提供 Scikit-learn 机器学习库的自动算法配置。遵循对 Auto-Weka 的介绍，我们认为分类器的选择甚至预处理模块的选择可以一起代表一个大的超参数优化问题。我们使用 Hyperopt 定义一个搜索空间，其中包含许多标准组件（例如 SVM，RF，KNN，PCA，TFIDF）以及将它们组合在一起的常见模式。我们使用 Hyperopt 和标准基准数据集（MNIST，20-Newsgroups，Conv

2021-03-25 10:45:09 635

原创 AutoML-第四章-Auto-WEKA

第四章：Auto-WEKA: WEKA 中的自动化模型选择和参数优化摘要存在许多不同的机器学习算法。考虑到每个算法的超参数，总的来说，可能的替代方案数量惊人地多。我们考虑同时选择一个学习算法并设置其超参数的问题。我们发现，利用贝叶斯优化中的最新创新，可以通过完全自动化的方法解决此问题。具体来说，我们考虑特征选择技术和 WEKA 标准分发中实施的所有机器学习方法，涵盖 2 种集成方法，10 种元方法，28 个基本学习器以及每个学习器的超参数设置。在 UCI 库，KDD Cup 09，MNIST 数据集的各

2021-03-25 10:44:03 1136 1

原创 AutoML-第二章-元学习

第二章：元学习摘要元学习（即学习如何学习）是一门系统地观察不同的机器学习方法如何在各种学习任务上执行的科学，然后从这种经验或元数据中学习，以比其他方式更快的速度学习新任务的科学。这不仅极大地加速和改善了机器学习管道或神经体系结构的设计，而且还使我们能够用以数据驱动方式学习的新颖方法来代替手工设计的算法。在本章中，我们概述了这个引人入胜且不断发展的领域中的最新技术。简介当我们学习新技能时，我们很少（如果有的话）从头开始。我们从之前在相关任务中学习的技能开始，再使用以前有效的方法，并基于经验[82]专注

2021-03-22 20:20:25 469

原创 AutoML-第三章-神经网络架构搜索

第三章：神经网络架构搜索摘要在过去的几年中，深度学习已在各种任务（例如图像识别，语音识别和机器翻译）上取得了显着进步。这种进步的一个关键方面是新颖的神经网络架构。当前采用的架构大多数是由人类专家手动开发的，这是一个耗时且容易出错的过程。因此，人们对自动化神经网络架构搜索方法的兴趣日益浓厚。我们提供了该研究领域中现有工作的概述，并根据三个维度对它们进行了分类：搜索空间，搜索策略和性能评估策略。简介深度学习在感知任务中的成功很大程度上归功于其对特征工程过程的自动化：层次化特征提取器是从数据中以端到端的方

2021-03-22 20:18:30 571

原创 AutoML-第一章超参数优化

第一章：超参数优化摘要最近对具有许多超参数的复杂且计算成本很高的机器学习模型（例如自动化机器学习（AutoML）框架和深度神经网络）的兴趣引起了对超参数优化（HPO）的重新研究。在本章中，我们概述了 HPO 最主要的方法。我们首先讨论基于无模型方法和贝叶斯优化的黑盒函数优化方法。由于许多现代机器学习应用程序对计算的高需求使得纯黑盒优化的成本极其高昂，因此我们接下来将重点介绍现代多保真方法，该方法使用黑盒函数便宜得多的变体来近似评估超参数设置的质量。最后，我们指出有待解决的问题和未来的研究方向。简介

2021-03-22 20:17:00 2192

原创 AutoML-前言

前言我们应该尝试在整个机器学习和数据分析管道的所有方面实现自动化，包括自动化数据收集和实验设计；自动化数据清洗和丢失数据填补；自动化特征选择和转化；自动化模型的发现、评判和解释；自动化分配计算资源；自动化超参数调优；自动推断；以及自动化模型监督和异常检测。本书包括我们需要在 AutoML 中使用基本技术的最新概览 (超参数优化、元学习和神经架构选择)，提供了对现存 AutoML 系统的深入讨论，以及细致的评估了自 2015 年起的一系列比赛中 AutoML 的最新进展。序言在过去的十年中，机器学习研

2021-03-22 20:16:03 199

原创 Automated Machine Learning 翻译-写在前面

由于自己的课程需要、研究方向和个人兴趣等诸多因素，开始入门 AutoML 这一领域。自认为是一个非常普通的初学者，并且对于机器学习本身的熟悉程度也远远不够。在网络上检索的时候发现这本 AutoML 的开源书籍，其链接如下：https://link.springer.com/book/10.1007/978-3-030-05318-5 .本能上觉得这应该是一本不错的入门书籍，遂产生了自己阅读的同时随手翻译一遍的想法，同时也是加深学习的过程。也希望把自己的工作分享出来。其实在阅读的过程中逐渐发现这本书并不如

2021-03-22 20:14:30 197

原创辗转相除法

辗转相除法是欧几里得发明的一种算法，很常用，也算是很低级的算法了，咱的水平不够如果还不知道的希望可以受到启发。其实，中国古代《九章算术》上提到过一种“更相减损术”，与其甚是相似。其实，我们都知道，所谓辗转相除就是：用较大的数除以较小的那个，若其余数是零，则最大公约数即为较小的那个，否则用较小的那个数除以其余数，若其余数是零，则最大公约数即为他们的余数的，否则以此类推。由此可知，我们可以用递

2010-04-22 16:21:00 1324

jiangshen2009的专栏