hadoop集群搭建前需要配置的一些内容

hadoop集群搭建前的配置

Created Wednesday 14 March 2018

系统是基于Centos64位的
注意修改bootproto ，gateway， netmask

网络环境准备：
采用nat方式联网

服务器系统设置：
1.同步时间

yum install ntpdate
ntpdate cn.pool.ntp.org

2.设置主机名

vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node-1

3.配置IP，和主机名的映射

vi /etc/hosts
192.168.33.101 node-1
192.168.33.102 node-2
192.168.33.103 node-3

4.配置SSH免密登录

生成SSH免登录秘钥
ssh-keygen -t rsa（四个回车）
执行完这个命令后，会生成id_rsa（私钥）
id_rsa.pub（公钥）
将公钥拷贝到要免密登录的目标机器上。

例子：配置单主机模式的时候，需要把id_rsa.pub公钥，要追加到服务端的authorized_keys中，

cat id_rsa.pub >> authorized_keys

5.配置集群的防火墙(注意centos7默认是fierwall防火墙)
查看防火墙状态
service iptables status

关闭防火墙
service iptables stop

查看防火墙开机启动状态
chkconfig iptables --list

关闭防火墙开机启动
chkconfig iptables off

6.JDK环境安装
mini版centos没有安装jdk

7.hadoop安装包目录结构

为什么要编译hadoop：
1.程序当中有一部分跟系统环境息息相关
（文件读写 win还是linux 64 32）
2.当需要自定义源码当中的某些组件的时候，需要修改源码

然后需要重新编译成安装包。

bin：hadoop最基本的管理脚本和使用脚本的目录
sbin：（super bin）hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本
etc：hadoop配置文件所在目录
include：对外提供的编程库头文件
lib：该目录包含了hadoop对外提供编程的动态和静态库，与include目录种的头文件结合使用。
libexec：各个服务对用的shell配置文件所在牧流