hadoop1.1.2分布式部署

最新推荐文章于 2020-07-15 18:54:37 发布

yinhaonefu

最新推荐文章于 2020-07-15 18:54:37 发布

阅读量492

点赞数

分类专栏：大数据之路

本文链接：https://blog.csdn.net/yinhaonefu/article/details/41091035

版权

大数据之路专栏收录该内容

36 篇文章 0 订阅

订阅专栏

1.将hadoop-1.1.2.tar.gz放到/usr/local目录下执行tar zxvf hadoop-1.1.2.tar.gz 解压到当前目录

2.为了方便访问重命名hadoop文件夹执行 mv hadoop-1.1.2 hadoop

3.将hadoop路径加到环境变量中 vi /etc/profile 设置如下

export HADOOP_HOME=/usr/local/hadoop

export JAVA_HOME=/usr/local/jdk

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

export HADOOP_HOME_WARN_SUPPRESS=1为了减少干扰信息

4.修改hadoop配置文件 hadoop-env.sh 在hadoop/conf/目录下修改JAVA_HOME=/usr/local/jdk

5.修改hadoop配置文件 core-site.xml 在hadoop/conf/目录下修改如下

<configuration>
     <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop1:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

6.修改hadoop配置文件 hdfs-site.xml 在hadoop/conf/目录下修改如下

<configuration>
     <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
     <property>
        <name>dfs.secondary.http.address</name>
        <value>0.0.0.0:0</value>
    </property>
     <property>
        <name>dfs.datanode.address</name>
        <value>0.0.0.0:0</value>
    </property>
     <property>
        <name>dfs.datanode.ipc.address</name>
        <value>0.0.0.0:0</value>
    </property>
     <property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:0</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

0.0.0.0:0代表任意地址和端口

7.修改hadoop配置文件 mapred-site.xml 在hadoop/conf/目录下修改如下

<configuration>
     <property>
        <name>mapred.job.tracker</name>
        <value>http://hadoop1:9001</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>mapred.job.tracker.http.address</name>
        <value>0.0.0.0:50030</value>
    </property>
     <property>
        <name>mapred.task.tracker.http.address</name>
        <value>0.0.0.0:0</value>
    </property>
</configuration>

8.masters文件内添加secondarynamenode主机这里添加 hadoop2

9.slaves文件内添加从节点这里添加

hadoop3

hadoop4

hadoop5

10.将hadoop文件夹复制到其他所有节点 scp -r hadoop/ hadoop2:/usr/local -r 代表递归复制

11.在hadoop1将hadoop格式化执行命令 hadoop namenode -format

12.启动hadoop集群执行 start-all.sh