我们将描述在单节点和多节点上的Hadoop设置。 将详细描述Hadoop环境的设置和配置。 首先,您需要下载以下软件(rpm)。
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A)单节点系统Hadoop设置
1)在Red Hat或CentOS 5+系统上安装JDK。
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java已安装,并将JAVA_HOME设置为/ usr / java / default
2)安装Apache Hadoop 0.20.204。
$ rpm -i hadoop-0.20.204.0-1.i386.rpm
3)设置Apache Hadoop配置并启动Hadoop进程。
$ /usr/sbin/hadoop-setup-single-node.sh
设置向导将指导您完成一系列问题以设置Hadoop。 对所有问题回答“是”后,Hadoop应该正在运行。
在HDFS上为您自己创建一个用户帐户。
$ /usr/sbin/hadoop-create-user.sh -u $USER
B)多节点Hadoop设置
1)在所有节点上同时安装JDK和Hadoop 0.20.204.0 RPM
2)在所有节点上生成hadoop配置:
$ /usr/sbin/hadoop-setup-conf.sh \
--namenode-url=hdfs://${namenode}:9000/ \
--jobtracker-url=${jobtracker}:9001 \
--conf-dir=/etc/hadoop \
--hdfs-dir=/var/lib/hadoop/hdfs \
--namenode-dir=/var/lib/hadoop/hdfs/namenode \
--mapred-dir=/var/lib/hadoop/mapred \
--datanode-dir=/var/lib/hadoop/hdfs/data \
--log-dir=/var/log/hadoop \
--auto
其中$ {namenode}和$ {jobtracker}应替换为namenode和jobtracker的主机名。
3)格式化namenode并设置默认的HDFS布局。
$ /usr/sbin/hadoop-setup-hdfs.sh
4)启动所有数据节点。
$ /etc/init.d/hadoop-datanode start
5)启动作业跟踪器节点。
$ /etc/init.d/hadoop-jobtracker start
6)启动任务跟踪器节点。
$ /etc/init.d/hadoop-tasktracker start
7)在HDFS上为您自己创建一个用户帐户。
$ /usr/sbin/hadoop-create-user.sh -u $USER
C)Hadoop的安装环境
$ vi ~/.bash_profile
在INSERT模式下,设置JAVA_HOME的路径
汇出JAVA_HOME
通过单击esc:wq保存文件
运行.bash_profile
$ source ~/.bash_profile
在Hadoop环境文件中设置JAVA_HOME路径
$ /etc/hadoop/hadoop-env.sh
D)Hadoop的配置
使用以下内容:
conf / core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
conf / hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
conf / mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
E)Hadoop命令
$ hadoop
$ hadoop namenode –format (Format the namenode, If ask to
answer press ‘Y’)
$ hadoop namenode (Start the namenode)
$ find / -name start-dfs.sh (find the file in directory)
$ cd usr/sbin (Go to respective directory directly)
$ start-dfs.sh
$ start-mapred.sh
$ hadoop fs –ls / (Shows the HDFS root folder)
$ hadooop fs –put input/file01 /input/file01 (Copy local input/file01 to
HDFS root /input/file01)
翻译自: https://www.javacodegeeks.com/2013/05/hadoop-setup-on-single-node-and-multi-node.html