1.环境选定:centos7,三节点,内存8-3-3,硬盘主节点大于50G,其他的最好也是几十G,网络nat模式,固定ip,测试是否ping通互联网。
2.组件版本,apache版本,虽然麻烦,但是cdh收费之后,有实力的地方绝对是自己搭建apache。
3.hadoop搭建:
- 主节点和其余两节点都在opt下mkdir module和software用于存放和安装,然后安装jdk-8u144-linux-x64。
- 然后在主节点,opt/software拷贝压缩包,解压到opt/module,
然后配置环境变量:vim /etc/profile.d/env.sh,这里不是简单在profile文件里面配置 - 然后配置etc/hadoop下的配置文件:
vim core-site.xml 命令,然后core-site.xml配置文件如下:
- 配置hadoo-env.sh,把里面的jdk目录{jdk_home}换成自己的
- 配置hdfs-site.xml:
- 配置yarn-env.sh:把里面的jdk目录{jdk_home}换成自己的
- 配置yarn-site.xml:
- 配置mapred-env.sh: 把里面的jdk目录{jdk_home}换成自己的
- 配置mapred-site.xml:
- 修改slaves:
回到 /opt/module:指定分发脚本xsync.