hadoop 2.7.2单机安装

一,基础环境

1、主机名配置

vim /etc/hosts
192.168.137.128 node1

2、安装JDK

tar zxf /root/jdk1.8.0_111.tar.gz -C /opt/
echo 'export PATH=$PATH:/opt/jdk1.8.0_101/bin' >>/etc/profile
source /etc/profile

3、配置SSH无密码登陆

ssh-keygen
ssh-copy-id -i id_rsa.pub  root@node1

二、安装Hadoop2.7.2

1、安装

mkdir /opt/hadoop
mkdir -p /opt/hadoop/hdfs
tar zxf hadoop-2.7.2.tar.gz  -C /opt/hadoop/

#设置环境变量
vim /etc/profile
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

#使环境变量生效
source /etc/profile

2、Hadoop配置

(1)配置hadoop-env.sh

cd /opt/hadoop/hadoop-2.7.2/etc/hadoop
export JAVA_HOME=/opt/jdk1.8.0_101

(2)配置core-site.xml

<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://node1:9000</value>
    <description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
    <description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>

(3)配置hdfs-site.xml

<configuration>
<!-- 设置namenode的http通讯地址 -->
    <property>
       <name>dfs.namenode.http-address</name>
       <value>node1:50070</value>
    </property>
    <!-- 设置secondarynamenode的http通讯地址 -->
    <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>node1:50090</value>
    </property>
     <!-- 设置namenode存放的路径 -->
    <property>
       <name>dfs.namenode.name.dir</name>
       <value>/opt/hadoop/hdfs/name</value>
    </property>
    <!-- 设置hdfs副本数量 -->
    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
    <!-- 设置datanode存放的路径 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/hdfs/data/node1</value>
        </property>
</configuration>

(4)配置slaves文件

vim $HADOOP_HOME/etc/hadoop/slaves
node1

2、Hadoop启动

(1)格式化namenode(只需第一次启动时执行)

hdfs namenode -format

(2)启动NameNode 和 DataNode 守护进程

sbin/start-dfs.sh

#启动验证,执行jps命令,有如下进程,说明Hadoop正常启动
1826 Jps
1447 NameNode
1561 DataNode
1709 SecondaryNameNode

三、新增一个DataNode节点

1、所有节点

vim /etc/hosts
192.168.137.128 node1
192.168.137.129 node2

2、配置SSH无密码登陆

#node1 拷贝目录至node2
scp -r hadoop/ root@node2:/opt/

3、设置环境变量

#node2,设置环境变量
#vim /etc/profile
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

source /etc/profile

4、所有节点

vim $HADOOP_HOME/etc/hadoop/slaves
node1
node2

5、修改配置文件

vim hdfs-site.xml
<!-- 设置datanode存放的路径 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/hdfs/data/node2</value>
    </property>

5、启动新增的datanode节点

./hadoop-daemon.sh start datanode
hdfs dfsadmin -refreshNodes

6、查看是否正常加入到集群

http://192.168.137.128:50070/dfsnodelist.jsp?whatNodes=LIVE 在这里插入图片描述
加入成功。

7、数据平衡

./start-balancer.sh
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

平凡似水的人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值