大数据Hadoop集群配置详情

hadoop集群配置

1. 新建虚拟机
2. 配置网络
3. 解压jdk和hadoop

tar -zxvf jdk...

4.设置免密登录 

4.1.设置每个节点映射

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.136.128 cen128
192.168.136.129 cen129
192.168.136.130 cen130

4.2删除残留文件

 rm -rf ~/.ssh

4.3复制密钥

ssh-keygen -t rsa

4.4分发密钥

ssh-copy-id cen+ip地址

5.分发JDK

scp jdk1.8.0_291 root@cen128:/opt/

6.设置profile

vi /etc/profile

分别在profile中加入以下代码：

#JavaÂ环境变量
export JAVA_HOME=/opt/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin:

#HadoopÂ环境变量
export HADOOP_HOME=/opt/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

7.分发配置文件

scp /etc/profile root@cen128:/etc/profile

8.刷新profile文件 

source /etc/profile

刷新完成后，可以使用Java -version测试Java

9.配置hadoop文件

9.1配置core-site.xml

添加以下代码

    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.136.128:9000</value>
    </property>

    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-2.7.7/data/tmp</value>
    </property>

9.2配置hdfs-site.xml

添加以下代码

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>cen129:50090</value>
</property>

9.3配置data节点 salves文件

vi /opt/hadoop-2.7.7/etc/hadoop/slaves

添加以下代码。分别是三个虚拟机的ip映射地址

cen128
cen129
cen130

9.4配置hadoop-env.sh文件

vi /opt/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

改为jdk所在的路径:

export JAVA_HOME=/opt/jdk1.8.0_29

10.分发hadoop给其他节点 

 scp -r hadoop-2.7.7/ root@cen129:/opt/

11.启动hadoop中的hdfs

11.1格式化namenode

hdfs namenode -format

11.2启动

start-dfs.sh