hadoop安装与配置

Hadoop的安装与配置可以分成几个主要步骤：
1、安装Java
2、下载Hadoop
3、配置Hadoop
4、格式化Hadoop文件系统
5、启动Hadoop

以下是基于Linux系统的简化安装与配置步骤：

1、安装Java

sudo apt-add-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

2、下载Hadoop

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz
tar -xzf hadoop-2.7.7.tar.gz
sudo mv hadoop-2.7.7 /usr/local/hadoop

3、配置Hadoop

编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh，设置JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

编辑/usr/local/hadoop/etc/hadoop/core-site.xml，添加Hadoop的基础配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml，配置名称节点和数据节点：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4、格式化Hadoop文件系统

cd /usr/local/hadoop
./bin/hdfs namenode -format

5、启动Hadoop

./sbin/start-dfs.sh

检查Hadoop是否成功启动：

jps

你应该看到以下进程：

• NameNode
• DataNode
• SecondaryNameNode
  如果一切顺利，Hadoop将在本地模式下运行，你可以通过Web界面http://localhost:50070来访问HDFS管理界面。