在单节点和多节点上的Hadoop设置

我们将描述在单节点和多节点上的Hadoop设置。 将详细描述Hadoop环境的设置和配置。 首先，您需要下载以下软件（rpm）。

• Java JDK RPM
• Apache Hadoop 0.20.204.0 RPM

A）单节点系统Hadoop设置

1）在Red Hat或CentOS 5+系统上安装JDK。

$ ./jdk-6u26-linux-x64-rpm.bin.sh

Java已安装，并将JAVA_HOME设置为/ usr / java / default

2）安装Apache Hadoop 0.20.204。

$ rpm -i hadoop-0.20.204.0-1.i386.rpm

3）设置Apache Hadoop配置并启动Hadoop进程。

$ /usr/sbin/hadoop-setup-single-node.sh

设置向导将指导您完成一系列问题以设置Hadoop。 对所有问题回答“是”后，Hadoop应该正在运行。

在HDFS上为您自己创建一个用户帐户。

$ /usr/sbin/hadoop-create-user.sh -u $USER

B）多节点Hadoop设置

1）在所有节点上同时安装JDK和Hadoop 0.20.204.0 RPM

2）在所有节点上生成hadoop配置：

$ /usr/sbin/hadoop-setup-conf.sh \

  --namenode-url=hdfs://${namenode}:9000/ \

  --jobtracker-url=${jobtracker}:9001 \

  --conf-dir=/etc/hadoop \

  --hdfs-dir=/var/lib/hadoop/hdfs \

  --namenode-dir=/var/lib/hadoop/hdfs/namenode \

  --mapred-dir=/var/lib/hadoop/mapred \

  --datanode-dir=/var/lib/hadoop/hdfs/data \

  --log-dir=/var/log/hadoop \

  --auto

其中$ {namenode}和$ {jobtracker}应替换为namenode和jobtracker的主机名。

3）格式化namenode并设置默认的HDFS布局。

$ /usr/sbin/hadoop-setup-hdfs.sh

4）启动所有数据节点。

$ /etc/init.d/hadoop-datanode start

5）启动作业跟踪器节点。

$ /etc/init.d/hadoop-jobtracker start

6）启动任务跟踪器节点。

$ /etc/init.d/hadoop-tasktracker start

7）在HDFS上为您自己创建一个用户帐户。

$ /usr/sbin/hadoop-create-user.sh -u $USER

C）Hadoop的安装环境

$ vi ~/.bash_profile

在INSERT模式下，设置JAVA_HOME的路径

汇出JAVA_HOME

通过单击esc：wq保存文件

运行.bash_profile

$ source ~/.bash_profile

在Hadoop环境文件中设置JAVA_HOME路径

$ /etc/hadoop/hadoop-env.sh

D）Hadoop的配置

使用以下内容：

conf / core-site.xml：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

conf / hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

conf / mapred-site.xml：

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

E）Hadoop命令

$ hadoop
$ hadoop namenode –format (Format the namenode, If ask to
answer press ‘Y’)
$ hadoop namenode (Start the namenode)
$ find / -name start-dfs.sh (find the file in directory)
$ cd usr/sbin (Go to respective directory directly)
$ start-dfs.sh
$ start-mapred.sh

$ hadoop fs –ls / (Shows the HDFS root folder)
$ hadooop fs –put input/file01 /input/file01 (Copy local input/file01 to
HDFS root /input/file01)

参考： TechAlpine –技术世界博客上的JCG合作伙伴 Kaushik Pal提供了在单节点和多节点上的Hadoop设置 。

翻译自: https://www.javacodegeeks.com/2013/05/hadoop-setup-on-single-node-and-multi-node.html