Machine learning:Trends, perspectives, and prospects

导读

        尽管实际的挑战，我们决策者之间的信息交流、公开的数据集以及机器学习能力，将会导致编程具有洞察力的设计，可以在保护隐私达到一个目标平衡，坚信公平将会给科学研究、个人隐私、公共健康带来益处。我们承诺隐私和公平是一直坚持的，但我们个人d的决策选择必须平衡他们，并坚持新的技术来强化我们的知识。

摘要

        机器学习的主要解决问题是，如何去建立计算通过实验提高自动化。它是今天发展最快的领域，依靠计算科学和统计学的接入，人工智能和数据科学的核心。最近在机器学习的编程已经被新的学习算法、理论带动，通过正在探索在在线数据的应用和低损耗的计算。采用数据密集型机器学习方法可以通过科学界、工业界、商业界发现，导致许多行业的较多的循证，包括健康医疗、制造业、教育业、经济、治安和市场。

       机器学习是一个学科主要集中在两个相互关联的问题：如何通过一个结构的计算系统通过大量的实验来提高自动控制？什么是基本的统计计算信息理论的法律，可以治理所有的学习系统，包括计算机、人类、组织者？机器学习的研究是非常重要的，对于那些基础科学和工程问题，较高实际的计算软件已经被制造通过一些应用。

        机器学习在最近20年已经取得了飞快的发展，从实验室的好奇心到一个在商业界广泛使用的软件。在人工智能方向，机器学习已经作为发展实际软件的选择，其中包括计算机视觉、机器人控制、语音识别、自然语言处理。一些AI系统的开发者发现它，对于一些应用，它能很轻易的去训练一个系统，只要展示它所期望的输入输出行为比人为手工编程来预计所有可能输入的反映。机器学习的影响已经被广泛所认知，通过计算科学和一系列的相关企业的数据强度问题，例如消费服务，复杂系统的问题诊断，物流链控制。有一个相似的大范围的影响通过经验科学，从生物学到宇宙论再到社会科学，机器学习方法已经发展到使用创新的方法分析高通量实验数据。图1展示了最近机器学习在一些领域的使用情况。

       一个学习问题可以被定义为，当在执行某项任务时，提高一些测量性能，通过训练一些典型的训练实验。例如，在学习信用卡诈骗任务，这个任务是实现给定一个信用卡交易，来判断是否是诈骗或者非诈骗。性能指标去提高这个诈骗分类的精度，训练实验的数据集是由历史的信用卡交易记录组件的，在回顾中每一个标签为诈骗或者非诈骗。或者是，一个定义性能指标是指定更高的惩罚，当诈骗标签是非诈骗标签比非诈骗是不正确的诈骗标签。一个可能定义一个不同的训练实验类型，通过包含未透支的信用卡交易以及标记的示例。

        一个多样性的机器学习算法已经发展到大范围种类的数据和问题类型扩展，通过不同的机器学习问题（1,2）。概念上的，机器学习算法可以被视为搜索，通过在一个候选的大空间问题的搜索，使用训练经验作为引导，来去发现问题作为优化的性能指标。机器学习算法变化非常大，部分原因是他们展示候选问题的方式（例如：决策树、数学函数、编程语言），以及通过空间搜索的方式（例如：优化算法好坏使用收敛性来保证，评估进化搜索的方法成功与否是使用,是随机变异程序实现）。因此，我们研究的方法，到目前为止已经特别地成功。

        一些算法主要关注在函数优化问题上，这个任务是使用函数作为代表（例如：给定一个交易输入，输出一个“标签”或者“非标签”），学习问题在提高这个函数的精度，在实验上组成函数的输入-输出对的样本。在一些方面，函数作为一个参数函数形式来清晰展示；在其它方面，这个函数式隐式的和通过一个搜索处理获得，一个因式分解，一个优化处理，或者是一个相似的处理。即使是不清晰时，这个函数依靠参数或者其它的自由可调度，和训练去发现这些参数对应的值方法，来优化性能指标。

        不管什么学习算法，一个关键的科学和实际的目标是理论类型特定学习算法的能力，以及任意被给学习问题的固有困难：怎样使学习算法从一个特别的类型和训练数据的容量具有较高的准确性？怎样使用算法在它的模型预测或者训练数据上具有较低的错误率？给定一个学习问题和训练数据，是否是可能的去设计一个成功的算法或者学习一个根本上很难解决的问题。这样的机器学习算法理论类型和问题类型充分利用满足决策的相似架构，以及计算复杂的理论。实际上，试图描述机器学习算法理论已经导致统计学和计算机理论的发展，其目标是同时描述复杂的样本（多少数据可以能够满足学习精度），以及计算复杂度（多大的计算量是被需要的），明确学习算法依靠多少的特征，例如学习能够代表它的特征。一个特定类型的计算分析在最近几年中，已经真实优化理论试非常有用的，使用上下限的优化融合率对于处理机器学习公式合并问题效果非常好，可以作为一个性能指标进行优化。

作为一个研究领域，机器学习处在计算科学、统计学以及其它学科交叉接口位置，随着时间自动提升，推论，决策制定在不确定的情况下。相关学科包括人类学习的心理研究，宇宙论的研究，适用控制理论，教育练习的研究，神经科学，组织行为学，以及经济学。虽然最近几十年在很多领域增加了交叉讨论，我们开始挖掘潜在的协同效应和形式的多样性，实验方法，使用多个领域交叉进行系统研究，来提高实验。

机器学习进度的驱动因素

       最近几十年可以看到网络的能力已经快速的发展，移动计算系统，传输大量的数据，一个现象常常提到的是“大数据”。科学界和工业界收集这样的数据来使机器学习去解决问题，来从这些数据集中获得有用的洞察性、预测以及决策。确实，纯粹的数据对于开发可扩展的程序是非常必要的，混合计算和统计考虑，但是问题不仅仅是单个当前数据集的问题；较多的这些数据是个人性质化的。移动设备和嵌入式连接使大量的数据收集个体人类数据，机器学习算法能够从这些数据中，来定制他们的服务要求，以及个人的环境。另外这些个人的服务将被连接在一起，为的是一个整体服务的形成，利用多个个体丰富的和多样的数据，在到个性化需求和每个的环境。捕获和挖掘大量数据的趋势和实例，可以提高服务和制造，并且在商业、服务业、政府等多个领域去发现。历史病例被用来去发现病人使用哪种治疗效果更好；历史交通数据被用来提高交通控制来减少阻塞；历史 犯罪数据被用来帮助分配当地的警察在特定的时间和地点；大量的实验数据集被收集，用来加速生物学、航天、神经科学、以数据为主的经验科学的发展。我们出现在一个长达数十年趋向增加数据为主的开始，证明基础决策通过在科学、商业、政府多方面情况下。

        随着在所有领域大量数据的重要增加， 通过人类努力已经迎来了一个新的需求，在根本的机器学习算法上。例如，大量的数据集需要计算可处理的算法，高的个人数据概率需要使用算法来最小化个人隐私的影响，以及大量的无标签数据的应用提升，对于学习算法如何充分的利用它带来了挑战。下一部分调查了在最近工作中需求在机器学习算法、理论、练习所带来的影响。

核心方法以及最近进展

       最为广泛使用的机器学习方法是有监督的学习方法。有监督学习系统，包括垃圾邮件的分类，通过图像进行人脸分类。对病人的模式诊断系统，所有举例说明函数大约问题讨论的简化，这里训练数据采用的是（x，y）形式的一个集合对，目标是在给定一个变量x*来预测y*。输入x可能是分类向量或者它们是比较复杂的目标例如，文件、图片、DNA序列、图表。同样地，不同类型的输出y被学习。较多的处理主要集中在二进制分类问题上，其中y输出其中的一种（例如，垃圾邮件和非垃圾邮件），但是也有大量的研究在多分类问题上（y是其中K类中的一个），多标签分类（y是由多个K 类标签来标记的），等级问题（y在数据集上提供偏序）。后一个问题的例子词性标注，目标是模拟每个词的标签，输入一个句子x作为一个名词，动词，或者语句中的一部分。监督学习也包含y是一个真值组成或者是离散值和实值的混合。

       监督学习系统得到它们的预测是通过一个映射函数f(x)，对于每一个输入x产生一个输出y（或者给定一个x得到一个可能的分配y）。存在的一些不同形式f，包括决策树、决策森林、逻辑回归、支持向量机、神经网络、内核机、贝叶斯分类。大量的学习算法已经被提出来评估这些不同类型的映射，也有一些通用的提出，例如，促进和多核学习，结合多个学习算法的输出。从数据中学习映射函数f的程序，常常利用优化理论或者数字分析，用于特定问题的机器学习问题（例如，目标函数或者函数去整合大量术语的总和）来带动创新。学习框架和算法的差异反映出了应有的差异，使用不同的框架来捕获数学运算结构的不同类型，提供不同水平的事后可视化以及可解释的便利性，提供不同的权衡在计算复杂度，数据量，性能上。

        最近几年在监督学习中一个高影响的处理区域涉及深度学习，它是多个神经单元组成的网络，每一个计算输入的一些简单参数化函数。深度学习系统充分利用梯度优化算法来调整参数，通过一个基于输出误差的多层网络。开发现代并行计算处理框架，最初为视频开发的图形处理单元，它可能去建立深度学习系统，其中包含上亿的参数和能够在非常大的图像、视频、语音数据集上训练来应用到互联网。在计算机视觉和语音识别，这样大规模的深度学习已经在最近几年产生了一个很大的影响，相对于原先的方法在性能上它们已经有很明显的提高。深度学习方法正在向多样的外部应用发展从自然语言转换到协同滤波。

        深度学习中的隐藏层可以通过学习输入数据的代表进行可视化。虽然在深度学习中取得的许多实际成功都来自于发现这种表示的有监督的学习方法，但也已努力开发深度学习算法，以发现输入的有用表示，而无需标记训练数据。通常的问题被提及无监督学习，在机器学习研究中的第二个话题。

        广义上讲，无监督通常涉及无标签数据的分析在假定数据的结构属性（例如，代数、组合数学、概率）。例如，一个假设是数据位于低维的流形上，目的去标识数据的多方面解释。降维的方法-包括主成分分析、流行学习、因素分析、随机投影以及自编码-使不同的特定预测考虑到多方面潜在因素（它是线性子空间、光滑非线性流形、子流形集合）。另外一个降维的例子是主题建模框架描述（如图3）。一个标准函数被定义来体现这些预测-常常利用整体数据原则，例如最大似然法、矩量法、贝叶斯集合-优化或采样算法来作为优化的标准。另外一个例子，集群是一个发现观察数据隔离的问题（预测未来数据的准则）在缺少指示所需分区的显示标签。一个大范围的集群处理已经得到发展，所有基于特定假设被视为自然的集群。在集群和维度的减少下，计算复杂度是尤为重要的，给定标签去挖掘大数据是非常有用的，如果一个无监督标签被分配。

        第三个主要的机器学习范式是强化学习。在这里，应用到训练数据的信息是介于监督和无监督学习之间。训练实验表明给定一个输入会有正确的输出，在强化学习训练数据被假设只提供行为是否正确；如果行为不正确，将会保持这个问题去发现正确行为。更一般的讲，在输入的队列数据集中，它是猜测所有数据队列中的补偿信号；将信用或者指责归咎于个人活动在数据队列中是不直接提供的。的确，虽然简单的强化学习版本是作为一个粗暴的问题去学习，它猜测奖励是在每一个活动后来提供，强化学习问题典型的涉及一个通常的控制理论集，这个学习任务去学习控制策略（“政策”）,在一个无法预知的动态场景中作为一个代理活动，学习在给定状态下选择活动的策略，随着时间推移已达到最大化预期报酬的目标。在控制理论和技术研究上最近几年逐渐增加，随着马尔科夫决策处理和部分观察的马尔科夫决策处理提供了点之间的联系。强化学习通常利用建议熟悉控制理论文献，例如策略迭代，价值迭代，推出，方差减小，随着创新的提升来满足机器学习的特定需求（大尺度问题，猜测未知的动态环境，使用监督学习框架来进行决策）。它也是值得注意的是在强化学习和工作决策在心理学和神经学，一个典型的例子是利用强化学习来预测猴子在刺激光和伴随糖奖励下，多巴胺神经的反映。

        虽然这些三个学习例子帮助去组织建议，大部分当前研究涉及这些策略的融合。例如，半监督学习利用无标签数据来去增加标签数据在一个监督学习内容中，区分性训练融合框架是使用无监督学习中利用标签进行的优化公式。模型选择是一个使用训练数据广泛活动，不仅是适应一个模型，但也是从模型中选择相似，训练数据不是直接表明哪个模型去用来使算法解决暴力问题和贝叶斯优化处理。当学习者允许去选择数据点和询问训练者来请求目标信息时，激活学习会提升，例如其它无标签数据中的标签。因果关系模型努力去解决多个变量相关预测，去区分哪个变量影响其它变量（例如，一个白细胞数量能够影响疾病的存在，但是是疾病导致了白细胞数量）。一些问题影响着学习算法的设计通过所有的这些范式，包括数据在堆栈或者队列到达随着时间的推移是可变的，数据是如何进行采样的，需要使用者对学习模型是可解释的，鲁棒性当问题复杂化先前模型的预测不在适用。

新趋势

        机器学习领域现在还是非常有活力的，它正在快速的发展中，通常在实际应用的过程中提出新的机器学习方法。（一个例子就是推荐系统的发展，如图4所示）一个主要带动这个发展的趋势是一个对机器学习算法运行环境关注逐渐提高。这里环境参照的是计算框架中的部分；一个机器学习分类系统涉及一个单一程序运行在一个单一机器上，对于机器学习系统它是比较常见的部署框架包括千千万万个处理器，交流限制、相似问题以及使用中心状态分配处理。的确，在图5所描述，机器学习系统增加软件的复杂集的形式，运行在大规模并行和分配计算平台、提供一个算法范围、进行数据分析。

       环境这个词也参考数据的源，它从一群人范围中拥有隐私或者个人的关注，去分析或者决策制定者在机器学习中有特定的需求（可视化输出），社会、法律、以及围绕系统部署的政治框架。环境也包括其它的机器学习系统或者其它代理，系统的整体集合是合作的或者对立的。广义上讲，环境提供各种各样的资源到一个学习算法和在这些资源放置约束。越来越多的，机器学习研究者正式化这些关系，目的去设计算法可以证明在各种环境是有效的和允许使用者表达和控制权衡这些资源。

       作为一个资源约束的例子，让我们猜测数据被一系列的个人提供，这些人想持有一个隐私的学位。隐私可以形式化为“不同隐私”的概念，这就定义了一个数据和输出词的一个可能的通道，通道输出的观察者无法可靠地推断特定个体是否提供了数据。不同隐私的分类应用设计确保查询（通过一系列账目哪个是最大支出？）隐私数据库返回一个回答，是相似的返回非隐私数据。最近的研究已经将不同的隐私与机器学习联系在一起，可以查询涉及预测或者其它的推理评估（例如，给定目前已经得到的数据，去预测哪个新的交易是诈骗）。一个增强的隐私机器学习的整体设计在决策理论框架，提供给使用者调节旋钮他们可以选择想要的隐私水平，关于进账各种问题，利用使用回答他们个人回答。例如，一个人可能非常意愿表明他们的基因组成在一个疾病研究上，发病在他们的家庭中，但是要求很多严格的保护，如果他们的基因信息被用设置保护率。

        交流是另外一个资源，在一个分配学习系统中整体内容需要去管理。例如，数据的分配通过区分物理位置，因为他们的大小不允许他们聚集在一个站点或者由于行政边界。在这样一个设置，我们可能希望去处理一个比特率交流限制在机器学习算法中。在这样一个约束下去解决一个设计问题，通常展示学习系统降低的性能在交流带宽减少下，但是它也能显示随着分配点数量的增加系统性能增加（机器或者处理器），在大量数据和质量之间进行平衡。就像经典信息论，这一系列研究目的在下限情况下来实现性能和特定的算法，来实现这些低的下限。

这一系列研究的主要目标是带来各种数据资源的研究在机器学习中（例如，数据点的数量，一个参数的维度，一个假设的复杂性）时间和空间上计算资源相联系。这样一个学习框架桥梁在PCA展现，研究增加一个多项式时间计算约束在错误率、训练数据大小、以及其它学习算法的参数。最近的研究包括在下限上创立基础的缺口针对特定的机器学习问题实现（例如，稀疏回归和稀疏规则组成分析）通过多项式时间和指数时间函数。然而，核心问题涉及时间数据权衡远大于多项式/指数限制。大量的数据集在增加定额需求算法，它的时间和空间需求是线性或者亚线性在问题大小上（数据点的数量或者维度的数量）。最近的研究集中在方法上，例如下采样，随机预测，和算法弱化去实现缩放能力，对比预训练数据控制。最终的目标是能够提供时间、空间与机器学习系统桥梁，另外精度需求，使系统发现一个运行点来允许需求实现。

机遇与挑战

       尽管它的实际和商业很成功，机器学习目前还是一个新的领域，还有很多要挖掘的研究机会。这些机遇中一部分是可以观测到的，通过约束当前的机器学习方法中学习的类型，我们观察自然地发生系统，例如人类和其它动物，组织学，生态学以及生物变革。例如，然而大部分机器学习算法目标是学习一个特定的函数或者数据模型，从一个单一的数据资源，人类可以学习一些不同的技能和知识类型，从多年各种训练经历，监督和无监督，在一个简单到较复杂系列（例如，学习爬，走，跑）。这个已经导致一些研究者们开始探索如何构建计算机终身或者不间断学习问题，运行数年都不间断，学习上百种相关技能或者在一个整体框架函数下，允许系统提高它的能力去学习一个已经学习的去学习另一个。另外类比的方面是自然学习系统建议基于团队的混合主动学习。例如，鉴于当前机器学习系统运行在分析给定数据，人们常常工作在收集和分析数据（例如，生物学工作致力于收集和分析基因数据，进行各种各样实验和致力推进困难问题）。新的机器学习方法能够和人类协同合作，去分析复杂数据集，使机器拥有从混合的数据集中挑选数据，和人类一样利用不同的背景知识来形成合理的解释和建议新的假设。一些理论结果在机器学习应用到所有学习系统，不管他们是计算算法、动物学、组织学、自然演变。随着该领域的推进，我们可以看到机器学习理论和算法增加模型来去理解学习在神经系统中，组织学，生物演变以及机器学习得益从正在进行学习系统的这些其它类型的研究。

       就像任何强大的技术一样，机器学习带来的问题，它的潜力用在社会是应该鼓励还是打压。在最近几年的推动去收集新的个人数据，被它的经济价值推动下，导致了很明显的隐私问题，就像上面涉及的那样。数据价值的增加也带来了第二个伦理问题：谁有权访问和拥有在线数据，以及从中获益？当前，很多数据被公司收集来进行特定的使用，来提高利润，伴随着有意或者无意将数据分享。然而，潜在的利润社会可以意识到，即使存在在线数据，如果哦这些数据是可用对公众利益将被考虑。

       举例说明，考虑一个简单例子，社会怎样能够从数据中受益，这个已经在网上，通过使用这个数据来减少全球流行病的传播从传染病。通过结合来自于网络资源的本地数据（本地数据来自手机、信用卡交易在零售店，安防摄像图像从公共地方和隐私建筑），在线的医疗数据（急诊室入场），它将是可用的今天去处理一个简单系统去立即给一人打电话，如果一个人他们在昨天是密切接触，只是一个传染病被送到了急诊室，提醒他们应该注意症状和应该采取的措施。这里，有一个清晰的紧张和平衡在个人隐私和公共健康，社会现在急需做出决定来如何进行这个平衡。然而，这个例子的更重要的一点是，尽管数据已经在线，但我们目前没有法律、习俗、文化或机制来支持。事实上，大部分数据是私人持有和拥有的，即使他们是我们每个人的数据。这些考虑表明机器学习可能是21世纪最变革的技术。虽然它不可能去预测未来，它的出现是必要的，社会开始去考虑如何最大化它的利益。

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料