说明:
TDH社区版还挺好用的,无限量续签许可证,如果大家只是想玩玩儿大数据平台,或者刚入行大数据想练手,那么TDH社区版就够用了,避免了你前期安装一系列Hadoop组件的麻烦。
想当年,笔者不知道有一站式大数据平台这玩意儿,还是从配置虚拟机到一个一个开源组件安装测试、到最终协调起来工作一步步走来。现在想想真是耗费时间,这也是为什么想了很久还是写下了这篇博文,希望你们了解大数据基本组件配置文件后,不用自己亲手配置,直接用上商业大数据平台,避免做无用功。
环境:
笔者安装的实验环境如下:
- 3台虚拟机即3个节点(至少3台),系统CentOS 7.2
- 每个节点内存20G
- 文件系统要求(分区和新磁盘均可,如docker分区可以是sdc的一个分区sdc2组成,也可以用新的磁盘sdd来搞):
文件系统 | 大小 | 挂载目录 | 文件系统类型 |
/dev/sda1 (必选) | 50G | / | ext4 |
/dev/sda2 (可选) | 32G | swap | |
/dev/sda3 (必选) | 50G | /var/log | ext4 |
/dev/sdb1 (必选) | 50G | /mnt/disk1 | ext4 |
/dev/sdc1 (可选) | 50G | /mnt/disk2 | ext4 |
/dev/sdd (必选) | 50G | /var/lib/docker | ext4 |
总之要求不高,1~2块数据盘、日志盘、docker分区。三样齐全即可!
前期准备
1、时间同步:
因为后期涉及许可证过期问题,故推荐安装开始先将集群时间同步,同步方式如下:
如果没外网,那就需要自己设置linux时间,并将时间写入硬件CMOS防止重启失效。如下:
date -s 07/25/2018
Date -s 20:13:14
# 写入硬件,防止重启时间恢复
clock -w
2、配置docker分区
直接写个shell脚本,在每台节点上运行即可,注意要在每一台上都运行此脚本,因为每一台节点上都是要做Docker容器虚拟化操作。
#!/bin/bash
# 格式化
mkfs.xfs -f -n ftype=1 /dev/sdd
# 创建docker目录
rm -rf /var/lib/docker
mkdir -p /var/lib/docker
# 挂载
mount /dev/sdd /var/lib/docker
# 写入fstab,开机自动挂载
echo "/dev/sdd /var/lib/docker xfs defaults 0 0" >> /etc/fstab
# 输出文件系统
df -h
3、修改 /etc/hosts文件
因为安装过程中需要同其他节点通信,故我们需要配置hosts。具体做法,在每一台节点上添加:主机名-ip地址配置信息。此过程就不详细叙述了,如下:(注意前几行不要删)
正式安装
1、准备安装介质
- TDH-Basic-Component-Transwarp-ce-1.1.0-final.tar.gz
- CentOS-7-x86_64-DVD-1511.iso(用于后续配置repo源)
2、安装
解压执行安装命令:
tar -zxvf TDH-Basic-Component-Transwarp-ce-1.1.0-final.tar.gz
cd transwarp
./install
3、 可视化安装
之后会提示让你访问 主节点ip + 8179端口,此界面即为后续可视化界面。
[I 05:20:45:686] It is highly recommended that all hosts in the cluster can be visited by FQDN/hostname from the browser. To achieve that, configure proper DNS and/or Hosts file on your browser machine
[I 05:20:45:686]
Copy/paste this URL into your browser when you connect for the first time:
http://172.16.8.1:8179/
同意许可协议、检查环境、提取文件、配置网络按默认的走就行。
在配置RPM源的时候,选择我们之前准备好的CentOS7 1511版本的iso文件即可。
之后等几分钟就会显示集群manager界面安装完成。下面我们需要访问8180端口(172.16.8.1:8180)来配置集群,用户名密码均是admin。
登进去同意协议、取名字过程默认即可,下面进行配置hosts操作,我们之前已经配过,直接按下图所示配置即可。
在添加节点环节将我们的三个节点添加进来,如果后续有新节点加入,我们可以再后续环节继续添加。添加完成后,此3节点即被集群管理。
接下来,配置添加的每一台节点的登录信息。便于后续通过SSH免密方式在节点之间登录。
后续步骤默认即可,点击下一步,会显示正在安装,等个大概几分钟就会显示节点已成功添加到集群中,并以做好安装配置。
接着安装我们需要的组件即可,如果我们这个时候少装或漏装组件,我们在后面也可自行添加。
下一步便会开始对每个组件进行安装操作了,,整个过程大概15~20分钟(这么短时间部署好一个集群,是不是感觉很6),安装完成后会显示如下:
Congratulation!!!
许可证申请
感觉许可证申请挺简单,而且好像发现它不会限定你申请的次数。一次申请就会续命3个月。更换许可证也很容易,集群无需重置。
如下,申请个账号登进去:
点击申请许可证:
我们在集群管理页面的许可证页面找到server key,记下来。
填入申请许可证的页面即可为你当前的集群许可证:
之后下载导入许可证即可:
好了,整个TDH大数据平台安装流程大致如上,可以感觉出来,整体流程还是挺简单的。
其他大数据平台安装资料
当然,萝卜白菜各有所爱,这里笔者也给大家推荐下其他大数据平台相关下载及文档。
1、Transwarp data hub(TDH大数据平台)
下载地址:http://www.transwarp.cn/product/tdh_ce
文档地址:https://www.warpcloud.cn/#/documents-support/docs/products
安装参考:https://blog.csdn.net/Post_Yuan/article/details/78421853
2、Cloudera data hub(CDH大数据平台)
下载地址:https://www.cloudera.com/downloads/cdh/5-15-0.html
官方文档地址(只有英文):https://www.cloudera.com/documentation.html
安装博客文章:https://www.cnblogs.com/CaptainLin/p/7089766.html
3、华为FushionInsight大数据平台
下载地址:http://support.huawei.com/enterprisesoftware/zh/cloud-computing/fusioninsight-hd-pid-21110924/software/23049357
官方文档:http://support.huawei.com/enterprise/zh/cloud-computing/fusioninsight-hd-pid-21110924/
安装参考:https://blog.csdn.net/post_yuan/article/details/79051538