在Azure云中的MapR上部署Drill

今年早些时候，我发表了一系列有关将Apache Drill部署到Azure的文章。 在这些帖子中介绍的步骤可以正常工作的同时，我想大大加快这一过程。 借助Azure市场中提供的MapR融合数据平台，我可以启动启用Drill的MapR群集，并以更快的速度和更少的精力运行。

在本文中，我将探讨如何快速启动这样一个集群。 在后续的系列文章中，我将介绍一些关键的Azure资源与群集的集成。 在一起，我希望这些条目将有助于加快对在Azure云中的MapR上使用Drill感兴趣的人们的工作。

在Azure市场中访问MapR

如果您具有Azure订阅，请通过https://portal.azure.com登录到Azure门户。 如果您没有订阅，则应联系您组织的Azure管理员以获取一个或以其他方式设置即付即用帐户 。

如果尚未在Azure帐户中运行任何可调整大小的内容，则应注意该帐户的默认配额限制为可用的20个虚拟机核心。 此上限旨在防止用户无意中支付大量账单。 如果您打算部署一个小型（即3节点）群集（如本文中所示），则不应达到配额限制。 如果您需要扩大规模，则可以继续进行，并请求增加配额以满足您的需求。

登录到门户后，仪表板将填充许多选项。 要访问Azure市场，只需单击左侧导航栏中的+ New选项。

在出现的面板中，在搜索框中输入MapR，然后单击Enter。 您应该从MapR中看到一些选项，包括一系列独立的Sandbox VM，非常适合培训和演示目的。 但是，由于我们的目标是部署集群，因此请选择MapR Converged Platform v5.2项目，如下图所示。

单击此项目以打开一个面板，您可以在其中查看选择并访问支持文档。 单击该面板底部的“ 创建”按钮以开始部署过程。

部署MapR集群

通过门户网站，部署过程通过一系列表格来处理。 前两个表单需要输入，而后两个表单在实际部署之前提供验证和确认。

在第一种形式中，提供有关群集的一些基本信息：

• MapR群集名称 – 群集的内部名称
• SysAdmin用户名–组成该群集的Linux虚拟机（VM）上的系统管理员的名称
• 身份验证类型 –用于Linux VM的身份验证机制，密码或SSH公钥
• 密码和确认密码 –如果选择了密码身份验证类型，则该密码与SysAdmin用户名相关联
• SSH公用密钥 –如果选择SSH公用密钥身份验证类型，则为OpenSSH公用密钥
• 订阅 –该群集应与之关联的Azure订阅。 除非您与多个订阅相关联，否则该选项不是很有趣。
• 资源组 –资源组，在您的订阅中唯一命名，用于与您的集群关联。 如果您不熟悉资源组的概念，可以将其视为分配给Azure项目的标签，该标签可用于管理和支出跟踪。 可以在此处找到更多信息。
• 位置 –在其中部署群集的Azure区域

单击确定以继续第二种形式。

在第二种形式上，提供有关群集基础结构的信息：

• 群集大小 –群集中的计算机总数，包括数据和头节点。 有效值在3到30之间。
• 虚拟机大小 –与群集一起部署的VM的大小。 Standard D3的默认VM大小包括4个处理器内核和14 GB RAM，并在HDD上运行。 通过单击选项并选择“ 查看全部” ，您可以选择D，DS，G和GS系列中最小的机器。 （有关不同大小的更多信息，请参见此处 。）
• MapR版本 –此模板当前支持的版本是5.2.0。
• 密码和确认密码 – MapR用户用来验证集群的密码
• MapR版 –选择融合社区版

单击“ 确定”以转到“网络信息”表单：您可以选择现有的虚拟网络或创建一个新的虚拟网络 。 无论是选择新的虚拟网络还是现有的虚拟网络，都请在该虚拟网络中选择一个子网，以将该虚拟机部署到该子网。

单击“ 确定”进入“摘要/验证”表单。 验证通过后，再次单击“ 确定”按钮进入“购买/购买”表单。 与往常一样，请仔细阅读此表上的语言，但是法律术语的要旨是，此群集基础结构的支出来自与您的Azure帐户关联的计费机制，并且MapR的任何支出不在这些协议之内。 请记住，您正在使用的Marketplace映像随附MapR的30天免费许可证，用于非生产性使用该技术。 准备好继续后，请单击“ 购买”开始部署。

在部署过程中，您将在Azure仪表板上看到旋转的磁贴。 在我的测试中，部署花费了30到60分钟。 您的里程可能会有所不同，但是部署完成后，您应该有一个磁贴，指向包含您的群集的资源组。

单击该磁贴将带您进入与MapR群集关联的资源组。 您将看到一个虚拟网络和一个存储帐户，以及群集中每个节点的一个公用IP地址，一个虚拟网卡和一个虚拟机。 假设您有一个3节点群集，您可能会认为资产是按以下方式组织的（尽管Azure资产的名称可能会有所不同）：

连接到钻取控制台

退出部署后，您的群集应该已启动并正在运行。 现在，您将要连接到Drill Console，以验证其是否可以运行。

要执行此验证，您必须首先找到与集群的一个节点相关联的完全合格的，可公开寻址的名称。 我建议对群集node0（在我的示例中名为maprclusternode0的VM）执行此操作。

要找到集群node0的公用名，请单击包含集群的资源组的磁贴（如上所述）。 找到与该节点关联的公共IP地址，在我的示例中，该资产名为maprcluster-publicIP0 。 单击该资源以打开其面板。

单击该面板左侧部分中的“ 配置”选项，然后在出现的“配置”面板中，找到分配给DNS名称标签的值。 复制该名称以及在文本框下方显示的域名。 如果您不喜欢此处分配给该节点的名称，则可以对其进行修改。 只要确保名称在分配的域内是唯一的即可。

有了节点的完全限定名称，您现在应该能够通过HTTP在端口8047上连接到Drill Console。要继续，请打开现代浏览器并使用HTTP导航到计算机上的端口8047。 （您的地址将如下所示： http : //maprcluster-3xrrusnk-node0.westus.cloudapp.azure.com : 8047 。）

执行此步骤后，现在应该向您显示Drill Console的默认页面。 验证正在运行的Drillbits数量与群集中的节点数量匹配。

如果任何节点无法正常运行Drill，则可以使用HTTPS通过端口8443连接到正在运行的节点之一上的MapR仪表板。 同样，使用现代浏览器导航到该地址，登录SysAdmin用户名（默认为mapradmin ）以及您在部署过程中以第一种形式提供的密码。 登录后，找到仪表板默认页面右侧的“服务”窗格。

在“服务”窗格中，单击“ Drillbit” ，然后在结果页面上，将过滤器从“正在运行的服务为Drillbit”更改为“正在 运行的服务不是Drillbit” 。

如果为Drillbits配置了任何节点（在“ Configured Services”列下），但未运行Drillbits，请单击“主机名”以打开主机页面。 滚动到结果页面的底部，找到“管理节点服务”窗格，在其中找到Drillbit服务列表，然后单击关联的“ 停止/启动”按钮以启动服务。

限制对群集的访问

处于部署后状态的群集已经在Internet上公开了。 如果您打算将工作限于教程或公开可用的数据集，那么这种情况可能会很好，但是在对群集进行任何可能敏感的操作之前，您将希望开始对与其进行入站通信进行更多控制。 通过在包含群集的虚拟网络上实现网络安全组，可以非常轻松地完成此更改。

若要设置网络安全组，请单击Azure Portal仪表板最左侧窗格中的+ New选项。 在搜索框中输入网络安全组 ，然后在结果列表中选择网络安全组项目。

在“网络安全”组的面板上，确保将部署模型设置为“ 资源管理器” ，然后单击“ 创建”按钮以配置部署。

在结果表单中，为网络安全组输入一个名称 ，将其订阅设置为以前，然后将其分配给用于群集部署的相同（ 使用现有 ） 资源组和位置 。 单击创建以部署网络安全组。 部署应少于一分钟。

网络安全组部署完成后，单击群集的资源组磁贴。 请注意，资源组资产列表中存在网络安全组项。

单击网络安全组项。 单击网络安全组面板左侧导航中的“ 入站安全规则”项，然后在结果窗格顶部单击+添加以创建新规则。

在出现的“添加入站安全规则”面板中，将“ 名称”设置为SSH并将“ 优先级”保留为100 。 对于Source ，您可以将端口保留为Any IP地址开放，或指定与您的环境相对应的CIDR块。 将“ 服务”设置为“ 自定义” （尽管在该下拉菜单中预先配置了SSH）。 对于“协议” ，选择“ TCP ” ，然后输入22的端口范围 ，并带有“ 允许 ”操作 。 单击确定 。 现在，您有了一个允许SSH通过网络安全组的规则。 （您可能需要花几分钟时间让门户网站将新规则显示在入站安全规则列表中。）

重复这些步骤，为Drill Console（TCP端口8047），Drillbit Connections（TCP端口31010）和MapR仪表板（TCP端口8443）添加入站安全规则。 （对于每个规则，允许优先级按照界面的建议递增。）

有了这些规则，您现在需要将网络安全组与绑定到群集节点的公共网络接口相关联。 要执行此步骤，请在网络安全组面板的左侧导航中，单击“入站安全规则”项下的“ 网络接口”项。 单击结果窗格中的+ Associate项，然后选择与群集关联的第一个网络接口。 关联后，对群集中的每个其余网络接口重复此过程。

通过此处记录的网络配置更改，您可以限制群集在Internet上的某些访问。 您实施的网络安全组仅允许流量输入4个TCP端口（如果使用CIDR阻止选项，则可能来自有限的IP地址范围）。 现在，所有其他端口均被阻止。 如果您需要对网络访问进行更严格的控制，请考虑阻止所有Internet流量进入您的群集，并实施VPN来访问它。

启动和停止集群

为了控制成本，您可能需要在不需要集群时将其关闭。 要执行此步骤，请返回与群集关联的资源组。 单击每个虚拟机（从编号最大的虚拟机开始）以访问其面板。

在面板顶部，单击“ 停止”按钮。 单击Yes确认您的选择，从运行到释放等待虚拟机的状态变化。 释放后，Azure计量器将不再在虚拟机上运行。 对其余虚拟机重复此过程，从编号最高的虚拟机到编号最低的虚拟机。

要重新启动群集，只需返回到资源组并为每个虚拟机选择“ 启动 ”，即可从编号最小的虚拟机到编号最大的虚拟机。 一旦每个虚拟机都处于运行状态，请在等待其重新连接之前，为群集提供几分钟的时间以启动服务并作出响应。

翻译自: https://www.javacodegeeks.com/2016/11/deploying-drill-mapr-azure-cloud.html