bewithme的专栏

目录开始快速入门系统概述下载安装Docker镜像单服务器多服务器ZookeeperMySQLDocker集群KubernetesKubernetes with minikube...

多服务器要求SKIL可以在单节点和多节点配置中工作。在多节点设置中，你可以利用不同的机器扩展模型服务或训练，以满足你的业务需求。对于所有多服务器（群集）设置，应将以下软件版本与SKIL一起使用：软件 版本 Apache Spark 1.6.x ZooKeeper 3.4.x SKIL训练与推理集群用于训练的SKIL集群允许组织架构中的不同分组共享计算资源...

单服务器要求单节点SKIL安装的最低要求是：带AVX指令的四核处理器 16 GB RAM 最小1Gbps网络连接 50GB磁盘空间以下规格建议用于生产：八核或更好的处理器，带AVX2指令 64 GB RAM 最小1Gbps网络连接 500GB+ 磁盘空间...

系统要求SKIL可以以多种方式部署，尤其是作为单个节点独立服务器或作为多个节点/服务器协同工作的集群。单节点服务器通常用于开发和集成测试，或者用于非常小的工作负载，而多节点配置将部署在类似生产的设置中。在正常操作期间，SKIL生成许多子进程。在单节点环境中，SKIL可以生成和管理的子进程的数量受物理机器规范的限制。因此，扩展较大的SKIL集群需要扩展节点，限制因素是可用于SKIL操...

版本信息SKIL打包的版本基于特定的主要版本。它们可能包含基础版本中可能不存在的其他转发提交和/或补丁，或者它们可能缺少某些尚未稳定到可以作为SKIL一部分发布的提交。SKIL v1.1与v1.0.0-beta中的dl4j组件一起发布DL4J 栈组件 版本 deeplearning4j 1.0.0-beta3 libnd4j 1.0.0-beta3 nd...

发行说明SKIL 1.2.1特点和改进“关于”页现在显示许可证到期日期。 更新页面以便在许可证过期时更新许可证。 内部API更改以获得更稳定的用户界面体验。 添加了“支持zip按钮”，用于共享系统信息、日志和流程信息，以获得更好的客户支持。 修复了pyspark和spark不匹配的库。 安spark无需安装7zip。 添加expirationDate以获取许可证端点 GET...

身份认证根据你使用SKIL的方式，始终需要身份认证。有几种方法可以通过SKIL获得身份认证，本文档将指导你完成每种方法。用户界面要使用UI进行身份验证，请将浏览器导航到http://<SKIL_IP_Address>:9008/ 并输入以下凭据：用户名admin密码admin将<skil_ip_address>替换为SKIL实例的地址或...

下载有关详细信息，请访问SKIL下载页。要安装SKIL，请根据要执行的安装类型查看单服务器或多服务器页面。

系统概述SKIL通过提供所有必要的工具来构建、训练和部署模型，在数据科学家和部署（devops）工程师之间的空白处架起了一座桥梁。工作流程由于部署一个模型需要的不仅仅是数据科学家的输入，SKIL还具有一个协作的用户界面和扩展的命令行工具（CLI），以帮助devops工程师和产品经理按比例参与调优和服务模型。SKIL减少了数据科学工作流程中各方之间的摩擦，并帮助你更快地扩展模型。...

K邻近值算法除了部署转换和网络模型，SKIL还允许你部署KNN模型。KNN (k邻近值算法) 是最简单的分类算法之一，广泛用于解决机器学习的基本问题。通过计算输入数据和数据集中所有示例之间的相似度（或距离）函数，找出最接近给定数据点的示例。knn中的“k”表示算法在对数据执行时，我们希望获得的最接近的示例的“k”个分类数。K邻近值算法流程该工作流程涉及到生成一个二进制KNN向...

Keras 模型SKIL v1.0.3系统通过笔记本（用于训练和配置）以及模型导入（接受外部创建的模型）支持Keras模型。Keras笔记本支持在Skil Zeppelin笔记本中，开发人员可以像在任何其他shell或笔记本系统中那样，在python中与keras进行交互。（一个主要的区别是skil笔记本包括一个SKILContext对象，允许python SKIL笔记本与其他...

Amazon ECSECS（弹性容器服务）是一个AWS集群协调平台。ECS允许你部署和运行容器化的Docker应用程序，使用ECS命令行界面（ecs cli），通过几个简单的cli命令对它们进行缩放，以创建微服务。你也可以使用AWS Web UI控制台来管理你的ECS集群，而无需使用CLI。本文档将演示如何使用Fargate启动类型在ECS上设置SKIL集群。使用Fargate，不需要提供...

TensorFlow模型SKIL1.0.3使用TensorFlow C++ API (版本1.4)的自定义JVM绑定，不施加限制。未来版本的SKIL将使用nd4j中的samediff功能来执行导入的模型。从TensorFlow导入参见导入模型页面。TensorFlow Word2Vec 支持如果使用了lookup_embedding函数，那么skil应该能够将模...

快速入门Skymind智能层（SKIL）的社区版是免费的。它是一个数据科学平台，可以快速轻松地将数据科学项目从原型带入到生产部署。SKIL通过面向数据科学家、数据工程师和DevOps/IT的跨团队平台，在python数据科学生态系统和生产JVM环境之间架起桥梁。它是用于机器学习工作流程的自动化工具，可以方便地在Spark-GPU集群上进行训练 ；实验跟踪；训练模型的一键部署；模型性能监控等等。...

内存设置神经网络需要内存，而更雄心勃勃的SKIL项目将需要更多的内存分配给SKIL和笔记本。通常，内存不足是作为java.lang.OutOfMemoryError出现的，并且知道如何更改内存设置可以在将来防止这种情况发生。环境变量要解决Zeppelin（笔记本后面的系统）中的内存问题，请增加可用的JVM RAM数量。Zeppelin的默认配置在JVM上提供8GB的RAM和4GB的堆外...

负载均衡因为SKIL将ZooKeeper用于它的devops基础设施，SKIL集群已经配置为多个服务器，将自动负载均衡所有传入的请求。确保集群配置正确并连接到ZooKeeper实例。端口90089008中公开的HTTP API将请求路由到所有其他SKIL节点。负载均衡策略所有请求都是通过round robin策略进行均衡。...

环境用户界面除了在/etc/skil/skil-env.sh文件中进行更改以更新SKIL环境变量外，还可以使用“SKIL环境”用户界面。此功能从SKIL的1.1版开始提供。访问环境用户界面要访问“SKIL环境”用户界面，请导航到SKIL用户界面右上角的“齿轮图标”，然后选择“SKIL环境（SKIL Environment）”。你将看到一个页面，其中列出了SKIL的所有可配置环境变量。你...

重启Zeppelin解释器Sometimes there might arise a situation where you'll have to refresh/restart your zeppelin interpreters. This could be due to out of memory issues (OOM) or for releasing some of the unw...

GPU模式默认情况下，SKIL未配置为使用本地可用的GPU资源。此外，你还需要确保SKIL在本地安装了CUDA，以确保驱动程序对你的安装有用。从SKIL v1.1.0开始，启用SKIL的gpu模式将启用“tensorflow-gpu”。警告启用GPU模式后，TensorFlow在执行时占用所有GPU内存，在重新启动Zeppelin解释器之前，你将无法启动任何模型服务器。避免这个问题...

许可证默认情况下，SKIL附带社区版许可证。但是，如果你从Skymind收到企业许可证文件，这些说明将帮助你安装许可证。如果你没有收到许可证，请联系Skymind。许可证文件示例SKIL在hood下使用License4J，文件本身包含一个许可证密钥。SKIL许可证如下所示：enterprise-license.txt# SKIL License (id: 11230824684...

高可用当使用云或自托管基础设施时，实例可能是短暂的。在devops的上下文中，“发生的事情”可以翻译为“我可以获得大量的流量，并且我的一个服务将会中断”。高可用性意味着设置SKIL以提供最佳性能级别。“高可用性”是指应用程序的连续工作，即使你丢失了一个节点或在集群内遭受网络拆分。要使SKIL部署具有HA功能，你需要以HA方式配置基础结构。故障维修点为了消除故障并实现高可用性，必...

执行作业作业是在后台对连接的SKIL资源运行的计算。作业可以有两种类型：训练 推理运行作业完成将外部资源连接到skil之后，可以通过以下两种方式对其执行训练/推理作业。A. CLIB. REST 端skil jobs命令管理通过SKIL CLI执行作业的工作流程。等效的REST端点也可用。作业工作流程如下：创建一个作业。 提交在步骤1中创建的作业以运行。作业在后台...

添加资源运行作业需要先将外部资源添加到SKIL的系统中。在添加资源之前，你需要将相关的凭证文件存储在SKIL集群的一个节点中。存储凭证下面显示了存储每种受支持资源类型的凭据的格式。注意For HDFS and YARN, no credentials are required as settings are done locally. You'll have to con...

资源当今世界，我们收集越来越多的增长和复杂的数据集，这些数据集往往需要使用复杂的模型。更重要的是，大型和非结构化的数据并没有一个适合所有存储解决方案。要在有趣的现实问题上进行机器学习，需要适应大量（分布式）数据库、云服务和连接器。随着大型数据集的出现，需要大量的计算能力。鉴于上述问题，模型开发平台必须具备必要的工具来利用外部存储和计算资源，以帮助数据科学家更快地获得结果。从1.2版...

嵌入式SKIL除了提供几乎所有用于创建高效机器学习管道的工具之外，SKIL还可以非常方便地作为嵌入式应用程序。这对于一个DevOps团队来说是非常有用的，可以让他们的模型在最短的时间内运行起来，并且可以减少麻烦。通过不同的工具和SKIL脚本的组合，你 可以轻松地将SKIL嵌入到应用程序管道中。用例此文档将显示许多可以嵌入SKIL的用例。1. 服务于单一模式让我们通过...

R解释器对于那些不想使用诸如Scala或Java之类的JVM语言，或者像Python这样的另一种语言的人来说，笔记本也有一个Zeppelin解释器。R解释器对于某些数据转换或可能难以转换为另一种语言的预写脚本很有用。扩展SKIL dockerfile你可以轻松地扩展skil-ce dockerfile并在docker镜像上安装R包。假设你了解了如何使用基本docker命令，那么就在系统上...

Spark解释器可以配置笔记本和Zeppelin Spark解释器，以使用Spark来获得更多的处理能力。如果本地Spark实例的计算能力不足，这将非常有用。你可以通过右上角的用户名下拉菜单访问解释器设置，如下图所示。访问解释器搜索Spark解释器并单击“编辑”按钮编辑Spark解释器设置你可以按“+”按钮添加额外的键/值对。你可以在这里找到其他可配置的spark...

日志你可以通过多种方式与SKIL集成和访问日志。日志配置对于需要从大型集群以有组织的方式获取日志的更复杂的devops和部署非常有用。Logback.xml Appenders如果你最喜欢的日志记录服务使用logback appenders，则可以将自定义的logback.xml文件放在/etc/skil/logback.xml中。不要删除已有的appenders如果你的SKI...

导入模型TensorFlow, Caffe, Keras, 与Deeplearning4j 都可以导入到SKILSKIL模型导入允许数据科学家将他们在其他地方创建的深度学习模型部署到SKIL模型服务器。SKIL支持来自任何keras后端库的模型，包括TensorFlow、Caffe，还支持DL4J。一个拥有经过训练的TensorFlow模型的团队，将其模型托管在模型服务器上，以便更...

与SKIL客户端一起工作SKIL可以通过外部环境通过SKIL Clients使用。外部环境可以是笔记本，也可以是客户端应用程序。SKIL客户端（又称skil-clients）是用于操作SKIL实例的RESTful客户机API。支持的平台/语言目前，客户端API可用以下语言：语言 API链接 Python https://github.com/SkymindIO/...

添加更多Zeppelin实例当SKIL启动时，它将默认创建一个名为“Default Zeppelin”（在端口8080上）的zeppelin服务器进程。此服务器负责管理SKIL中“实验”的笔记本。除了默认的Zeppelin服务器，还有一个默认的Zeppelin解释器进程（以“Default Interpreter”的名称），负责执行笔记本中的段落（在端口6500上运行）。下图显示了Zeppel...

安装- 多服务器在多个服务器上安装skil遵循与在单个服务器上安装skil相同的安装路径，但还有一些附加要求。ZooKeeper为了使多个服务器能够彼此工作和协调，skil的每个服务器/实例必须具有相同的ZOOKEEPER_HOST设置，并且所有skil的服务器/实例都必须能够访问zookeeper集群。安装细节见Zookeeper。SKIL 配置在每台skil...

安装- 单服务器添加仓库要添加仓库，请在/etc/yum.repos.d/skymind.repo中创建yum存储库配置，执行如下命令sudo nano /etc/yum.repos.d/skymind.repo并在/etc/yum.repos.d/skymind.repo中添加如下内容：[Skymind]name=Skymind Repositorybaseu...

SKIL中在多GPU上训练训练神经网络模型可能是一项计算代价很高的任务。如果你的机器上安装了多个GPU，为了加快训练过程，你可以选择并行训练你的模型。SKIL可以使用skil parallelwrapper命令利用机器中安装的GPU。在本指南中，你将看到如何在多个GPU上的MNIST数据集上训练DL4J网络。在继续本指南之前，请确保已将SKIL配置为GPU模式。先决条件你需要遵...

SKIL中的分布式训练SKIL提供了skil spark命令，用于在spark 集群上对DL4J模型进行分布式训练。它几乎类似于使用带有一些附加功能的spark-submit命令，以便能够查看DL4J UI上的训练并通过给定的模型历史服务器详细信息维护模型历史。先决条件你需要遵循以下步骤：SKIL Spark 集群(或者你可以在本地使用spark，并将master指定为lo...

分布式ETLETL代表提取、转换和加载。它是机器学习问题中数据准备和预处理的一个常见工作流程。ETL是从数据源中提取或拉取数据，将其转换为可用形式，然后将其加载到模型/数据库中进行训练/分析。SKIL中的分布式ETL是指在spark集群上以分布式模式对提取的数据进行转换。使用Spark集群要使分布式ETL工作，你需要在后端有一个Spark集群，并且需要一个客户机，一个包含“Sp...

Java部署客户端SKIL部署客户端是用于处理SKIL客户端请求的Java API。与原始JSON请求相比，它直观且易于使用。它提供了构建请求对象的构建器模式。响应有自己的类对象。添加到项目客户端在Skymind的Nexus仓库上作为依赖可用。目前，存储库受密码保护，你需要联系我们以获取访问权限。连接到存储库后，将以下内容添加到pom.xml中：<dependency...

批量推理SKIL通过其SkilContext为Hadoop/Spark集群中的数据运行本地推理提供了批量推理功能。它通过传递大量的网络调用和与之相关的延迟来帮助解决问题，特别是当有大量数据需要处理时。SkilContext batchInference将保存的SKIL模型（通过SkilContext addModelToExperiment）复制到内置HTTP服务器中，并启动Spa...

部署转换SKIL允许你部署以前定义的转换，以便在微服务体系架构中启用分发。创建部署后，导航到部署详细信息屏幕中列出的“转换”窗格。你可以上传包含JSON配置的转换过程文件，也可以指定保存的文件路径。导入一个转换过程CSV 转换我们可以将转换过程json导入为：导入CSV转换过程部署图像转换同样，对于图像转换：导入图像转换过程启动转换过程你必...

部署与生产你的安装，部署模型和实验都是“一键式”的。使用SKIL的集群感知系统，模型可以通过整个集群或单个机器上的API进行部署和访问，具体取决于你的设置。部署在SKIL中有一个特殊的空间，可以通过单击左侧导航中的“部署（Deployments）”来访问该空间。部署独立于工作间运行，以确保生产环境中没有意外中断或错误。创建部署导航到部署屏幕后，单击右角的“新建部署（New Deploy...