Hadoop集群安装 - 2020-11-22

最新推荐文章于 2024-07-11 18:52:23 发布

w_angshang

最新推荐文章于 2024-07-11 18:52:23 发布

阅读量75

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/w_angshang/article/details/109967699

版权

01_伪分布

01_安装jdk：

01_安装rpm包
rpm -i jdk-7u67-linux-x64.rpm

位置：whereis java
java: /usr/bin/java

02_配置java环境变量：
[/usr/java/jdk1.7.0_67]
vi + /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_67
PATH=$PATH:$JAVA_HOME/bin

保存

执行文件. /etc/profile

注释：+ 符号是直接跳到文件末尾

02_安装Hadoop

01_解压hadoop安装包（解压即可使用）
tar -zxvf hadoop-2.6.5.tar.gz -C /opt/ws/

03_在任意目录可运行Hadoop（配置环境变量）

[/opt/ws/hadoop-2.6.5]
vi + /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_67
export HADOOP_HOME=/opt/ws/hadoop-2.6.5
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

【新增export hadoop_home,path包括bin/sbin,加在同一个path下即可，无需新增一个path】

source /etc/profile

04_启动集群时用到jdk，在Hadoop的etc中配置jdk环境变量

[/opt/ws/hadoop-2.6.5/etc/hadoop]

vi hadoop-env.sh 

export JAVA_HOME=${JAVA_HOME}
改为
export JAVA_HOME=/usr/java/jdk1.7.0_67

vi mapred-env.sh

# export JAVA_HOME=/home/y/libexec/jdk1.6.0
改为
export JAVA_HOME=/usr/java/jdk1.7.0_67

vi yarn-env.sh 

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
改为
export JAVA_HOME=/usr/java/jdk1.7.0_67

05_伪分布式配置文件设置

[root@Linux00 hadoop]# vi core-site.xml 
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Linux00:9000</value>
    </property>
    【指定NameNode】
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/ws/hadoop/pseudo</value>
    </property>
    【指定文件存储路径】
</configuration>

[root@Linux00 hadoop]# vi hdfs-site.xml 
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    【规定副本个数】
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Linux00:50090</value>
    </property>
    【指定SecondaryNameNode】
</configuration>

[root@Linux00 hadoop]# vi slaves
Linux00
【规定哪些节点为从节点】

06_格式化

【1】Format the filesystem:
  $ bin/hdfs namenode -format
【2】Start NameNode daemon and DataNode daemon:
  $ sbin/start-dfs.sh
  The hadoop daemon log output is written to the $HADOOP_LOG_DIR directory (defaults to $HADOOP_HOME/logs).
【3】Browse the web interface for the NameNode; by default it is available at:
  NameNode - http://localhost:50070/
【4】Make the HDFS directories required to execute MapReduce jobs:
  $ bin/hdfs dfs -mkdir /user
  $ bin/hdfs dfs -mkdir /user/<username>
【5】Copy the input files into the distributed filesystem:
  $ bin/hdfs dfs -put etc/hadoop input
【6】When you're done, stop the daemons with:
  $ sbin/stop-dfs.sh