在单个AWS实例上使用Docker部署安全的Mini MapR集群-CSDN博客

介绍

如果您想试用MapR融合数据平台以查看其独特的大数据功能，但又没有立即可用的硬件集群，那么您还有其他选择。例如，您可以使用我们的一个IaaS合作伙伴（ Amazon ， Azure等）上的多个节点实例在云中启动MapR集群。唯一的缺点是，对于多个节点实例，这些成本的总和可能超出您为实验集群所要花费的成本。您还可以选择使用MapR Sandbox进行试验。但是，局限性在于它不能为您提供真正的多节点集群，因此您无法充分探索多租户，拓扑和服务布局等功能。

作为另一种选择，您可以利用Docker技术和AWS CloudFormation模板在单个虚拟实例中启动多节点MapR集群。有一些选项可以设置非安全，安全或启用Kerberos（“ Kerberos”）的集群，因此您可以浏览MapR平台提供的全部功能集。设置了LDAP服务容器以在整个群集中提供集中的目录查找，而KDC服务容器提供了用于以Kerberized群集进行群集身份验证的令牌。此外，MapR客户端容器用于更好地模拟生产环境。客户还可以在同一实例中将软件安装在群集旁边的单独容器中。这是在云上旋转真正的多节点MapR群集的非常经济高效的方法。

由于容器是高度可抛弃的，因此，如果您想尝试不同的东西（例如PoC，演示或培训环境），则重新安装集群真的很容易。下图显示了部署的外观：

为了让您入门，本博客文章的其余部分将引导您逐步了解如何在不到30分钟的时间内在AWS上启动并运行迷你MapR集群。

涉及四个主要步骤：

使用CloudFormation模板启动一个AWS实例。
登录实例并执行MapR部署脚本。
应用试用许可证（可选）。
开始探索集群。

使用CloudFormation模板启动AWS实例

登录到AWS门户。如果您没有AWS账户，则需要创建一个。如果已经拥有一个，则可以登录到控制台。
切换到以下区域之一：美国西部（俄勒冈），美国东部（弗吉尼亚），亚太地区（东京），亚太地区（悉尼），欧盟（爱尔兰）或欧盟（法兰克福）。
从此处下载此CFT： https : //raw.githubusercontent.com/jsunmapr/AWS-CFTs/master/520/MapR520-community-Docker.template
在您的AWS门户上选择“ CloudFormation模板”。然后选择“创建堆栈”->“将模板上传到AWS S3”->“浏览”，选择从上一步中刚刚下载的模板，然后上传。

按照说明启动MapR集群。

填写堆栈名称，并至少选择您的密钥。

下一页上的项目都是可选的。留空。

选中协议框，然后点击“创建”。

如果一切顺利，则应该成功部署群集。

登录到实例并运行MapR部署脚本

转到EC2门户，找到新启动实例的外部IP地址。找到名为“ mapr520_docker”的实例，其IP地址应显示出来。

等待实例的状态从“正在初始化”更改为“ 2/2检查”，然后通过从计算机发出命令“ ssh ec2-user @ <IP地址> ”将其SSH到实例。
进入实例后，发出以下命令来部署MapR集群：“ sudo / usr / bin / deploy-mapr ”将提示您回答几个问题，这些问题应该不言自明，但是如果不确定，然后保留默认答案。写下这些选择，因为稍后您将需要它们。然后，它将以交互方式引导您完成设置过程。在20–30分钟内，您应该已建立集群并开始运行。
如果您输入有误，请放心。只需重复上一步即可重新安装。另外，如果您想尝试其他安全模式，只需重新运行上一步-旧的群集将被删除，新的群集将被部署。

应用试用许可证（可选）

此时，该群集已正常运行，即使没有许可证，您也可以开始探索MapR群集。但是，为了利用HA， NFS网关等功能，您将必须申请30天的无限试用许可证。

将浏览器指向MapR控制系统（MCS）页面： https：// <实例的IP地址>：8443 ，以管理员用户身份登录，然后输入在上一步中分配的密码。单击右上角的“管理许可证”选项卡。复制集群ID。

现在访问www.mapr.com并在MapR中注册一个帐户（登录链接位于主页右上角附近）。登录后，选择“我的集群”选项卡，然后单击“注册集群”。

填写集群ID和集群名称，然后单击“注册”。

现在返回“ MCS”页面，然后单击“通过Web添加许可证”以应用许可证。

申请许可证后，您现在可以在MCS门户上启动NFS网关服务。

开始探索集群

小型集群随附了一些示例脚本/数据，以帮助您入门。要开始探索，您首先必须登录到客户端容器。

返回您的实例外壳提示符。输入“ sudo ent ”进入客户端容器。

例：

#ent
CONTAINER NAMES
5af123c10715 mapr-client
d078b54a942f mapr520-node0
2b414d3d0d2a mapr520-node1
47c73d048f35 mapr520-node2
bd393b70ae8e kdc
546c8efc27e1 ldap

Which containter you want to enter? 5af123c10715
[root@mapr-client /]#

现在，我们成为ldap用户。请注意，本地/ etc / passwd文件中不存在ldap用户名。

root@mapr-client /]# su - ldapdude
Last login: Tue Dec 20 22:57:06 UTC 2016
[ldapdude@mapr-client ~]$

如果您有安全的集群（MapR票证），则应使用maprlogin命令获取一个maprticket，否则将无法访问文件系统。

[ldapdude@mapr-client ~]$ maprlogin password
[Password for user 'ldapdude' at cluster 'mapr520': ] xxxxxxx
MapR credentials of user 'ldapdude' for cluster 'mapr520' are written to '/tmp/maprticket_5000'

如果您具有Kerberized集群，则应使用kinit命令获取Kerberos令牌。

[ldapdude@mapr-client ~]$ kinit
Password for ldapdude@EXAMPLE.COM: xxxxxxx
[ldapdude@mapr-client ~]$ hadoop fs -ls /
16/12/21 04:33:34 INFO client.MapRLoginHttpsClient: MapR credentials of user 'ldapdude' for cluster 'mapr520' are written to '/tmp/maprticket_5000'
MapR credentials of user 'ldapdude' for cluster 'mapr520' are written to '/tmp/maprticket_5000'
Found 7 items
drwxr-xr-x   - maprdude maprdude          1 2016-12-20 22:34 /apps
drwxr-xr-x   - mapr     mapr              0 2016-12-20 22:32 /hbase
drwxr-xr-x   - mapr     mapr              0 2016-12-20 22:34 /opt
drwxr-xr-x   - root     root              0 2016-12-20 22:34 /tables
drwxrwxrwx   - mapr     mapr              2 2016-12-20 23:01 /tmp
drwxr-xr-x   - root     root              4 2016-12-20 22:34 /user
drwxr-xr-x   - mapr     mapr              1 2016-12-20 22:32 /var

要开始使用Apache Drill ，请转至/ opt / data / drill。 例：

[ldapdude@mapr-client ~]$ cd /opt/data/drill
[ldapdude@mapr-client ~]$ /opt/mapr/drill/drill-1.8.0/bin/sqlline -u jdbc:drill:zk=mapr520-node0:5181,mapr520-node1:5181,mapr520-node2:5181/drill/mapr520-drillbits -f review.sql