全文共 2737字，预计学习时长 5分钟
近期，大生态数据系统领域发生了一件事情：思科(Cisco)将人工智能硬件框架与一个由八个GPU驱动的新型深度学习服务器相结合。Wikibon首席分析师James Kobielus在最近的一次采访中表示，思科承诺支持Kubeflow在人工智能领域的发展，“Kubeflow是一个开源工具，能使TensorFlow与Kubernetes容器编配引擎兼容。”
TensorFlow是一个用于数值计算的开源软件库。其架构灵活，能够轻松应用到各种平台(GPUs, TPUs,CPUs)和多种设备(台式计算机、服务器集群、各种移动和边缘设备)的部署中。TensorFlow最初是由谷歌大脑团队(谷歌人工智能部门的一部分)开发的。它具有灵活的数值计算核心，是机器学习和深度学习的好帮手。他们开发了一种由八个CPU驱动的新型深度学习服务器。
JamesKobielus认为集装化正带领软件界走向一个新纪元。集装化正重塑几乎每个信息技术软件平台的格局，在人工智能和机器学习领域产生着一定的影响。例如，思科近期宣布，正在改善TensorFlow堆栈的集装化。Kobielus表示：
当我谈及高度复杂的AI时，指的是像TensorFlow这样的东西。例如，当用户在TensorFlow中构建深度学习模型时，假设该模型将用于开发自动驾驶汽车。当然，汽车内部会预设好深度学习模型，能够运用传感器数据来进行物体识别等功能。在汽车控制区域范围内，也会有深度学习模型，可能针对既定区域内的交通堵塞。
据Kobielus所说，ApacheSpark经常与Hadoop分布式文件系统(HDFS)一起作为持久层或存储层运行。Spark是机器学习开发环境的首选之一，以内存为导向。它越来越多地被用于实时ETL和为几个配备TensorFlow的混合部署的数据准备，并且也趋向于集装化。
Kubeflow
软件容器使得企业能够在不同环境之间轻松地移动工作负载。本质上，Kubeflow是一个基于库本内斯的框架和工具，用于建立和训练机器学习模型。这些模型可能从一开始就被集装化。容器研究中的一些主要话题包括Kubernetes编排、机器学习和深度学习。
对所有应用程序开发而言， DevOps工作流的容器化正在迅速成为常态。Kobielus说，在人工智能应用的开发中尤其如此。"Kubeflow 使 DevOps能够在容器编排的环境中点到点地管理这些应用程序." Kubeflow正在成为智能设备行业(包括人工智能设备领域)的关键粘合剂，并支持人工智能的集装箱化。Azure的新机器学习程序支持基于容器的模型管理和开发，Apache Spark也是如此。
他表示，Kubeflow制作“缩放”机器学习模型，然后以尽可能简单的格式将其部署到生产中。因为机器学习研究人员使用不同的工具，所以主要目标是根据用户需求定制堆栈，并在Kubernetes内已经运行的任何位置提供易于使用的机器学习堆栈。
机器学习
机器学习已经发展成为一种用于识别模式和预测概率的数据分析形式，并作为人工智能研究的一个分支存在。通过为模型提供“已知”答案的数据，计算机能够训练自己预测未来对未知情况的反应。机器学习在解决特定任务方面取得了相当大的成功，据估计AI 和 ML将是推动云计算的主要催化剂。为了有效地工作，机器学习技术需要高效地学习，并与云技术相结合，包括集装化。
考虑到这一点，谷歌开发了Kubeflow，这是一个构建在Kubernetes之上的可移植、可组合和可伸缩的机器学习堆栈。Kubeflow提供了一个开源平台，可以通过将自己附加到容器上来传输ML模型，并在数据旁边而不是在叠加层中执行计算。Kubeflow帮助解决了实现ML堆栈的基本问题。生产级机器学习解决方案的构建需要多种数据类型。有时，使用不同的工具构建堆栈，会使算法变得很复杂并且产生不一致的结果。
深度学习的优势
深度学习是机器学习的一个分支，它支持深度神经网络计算机“从经验中学习”，并使用分层顺序理解世界。这种层次结构通过将复杂的概念建立在简单概念的基础上来支持计算机对复杂概念的使用。现实世界的组织已经将机器学习和开源平台技术结合在一起，这是这些独立的开源项目的最初开发者从未预料到的。Kobielus说：
我认为要想将云计算革命带到每一个设备，深度学习和AI的作用很大而且必不可少。我们在移动计算领域取得了全面发展，AI技术将会运用到每个人身边、每台机器上，比如智能设备和自主设备。
诸如此类的创新已经在人脸识别、语音识别等领域出现。但是，它需要以标准化的方式进行，或者通过标准化的云计算将其应用到边缘部署环境，即实现集装化并使用Kubernetes。他继续说道：
作为一名开发人员，我认为关键是能够将那些执行不同任务的模型打包，并且能够按照编排将这些模型连接在一起，使它们能够在分布式应用程序环境中作为组件一起运行。此外，这使得这些模型能够得到实时监控和管理，一般通过流延平面来实现。
Eclipse和云本地计算基金会(CNCF)最近宣布，他们正在合作构建集装化开放源代码堆栈，以及将深度学习和机器学习容器部署到边缘设备所需的工具。Eclipse基金会为开源软件、创新和协作提供了一个业务友好的环境。
几个月前，Eclipse基金会发起了一个名为 Ditto的项目，该项目由博世赞助。该项目的重点是使用数字双生技术来开发人工智能，人工智能设计为在边缘设备上以集装化的方式运行。
数据管理
数据管理是关于管理和维护数据和元数据资产。在采访中，Kobielus表示:
我喜欢用‘管理’这个词。这个行业按照几个层次来管理这个堆栈。社区通过决定什么被接受为一个项目，什么被提交给一个工作组来构建，然后什么最终从沙箱中升起，在这个社区的一些管理中孵化出来。有供应商监管，即每个供应商、云监管和服务器监管。
Kobielus认为这种类型的数据管理是这个新时代的必要组成部分。有些事情会被大众普遍接受，并且开始自己的发展。有些事情则会半途而废，比如在Hadoop开始时，他说道：
我记得Hadoop的一些片段，比如Mahout机器学习库。有一部分已经被采纳，但还没有达到Spark库的水平。
他认为数据科学家是人工智能的核心开发人员，然而他们还没有意识到他们需要对容器有更多的了解，对Kubernetes有更多的了解，“因为这会出现在他们的工具箱中，当作目标环境来部署他们的模型。”
他最后说，数据科学家、人工智能开发人员、数据架构师和业内其他人都需要理解这些新技术现在如何以及为什么成为他们数据堆栈中的核心组件。每个相关的人都需要理解这一点，否则他们只会被数据时代前进的潮流抛弃。
留言 点赞 关注我们一起分享AI学习与发展的干货欢迎关注全平台AI垂类自媒体 “读芯术”
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
