Hadoop安装

• 安装前置条件:已安装好JDK并配置环境变量

开始安装Hadoop

1. 下载Hadoop压缩包,使用wget方式获取

wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

2. 将压缩包加压到/opt目录下

mv hadoop-1.2.1.tar.gz /opt
cd /opt
tar -zxvf hadoop-1.2.1.tar.gz

3. 解压完成之后,进入conf/目录中,需要配置以下四个文件
   1. mapred-site.xml
   2. core-site.xml
   3. hdfs-site.xml
   4. hadoop-env.xml

• 配置hadoop-env.xml文件,设置JAVA_HOME

export JAVA_HOME=你的javahome路径

• 配置core-site.xml文件,在configuration标签中添加自定义配置
  1. hadoop.tmp.dir:hadoop的工作目录
  2. dfs.name.dir:所有原数据目录
  3. fs.default.name:文件系统的本地访问目录

<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

• 配置 hdfs-site.xml文件,在configuration标签中添加一下配置,设置文件系统的数据存放目录

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

• 配置mapred-site.xml配置任务调度器

<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

• 配置环境变量
• 添加HADOOP_HOME环境变量
• 将HADOOP_HOME环境变量添加到PATH之中

export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=$PATH:$JAVA_HOME/lib:$JRE_HOME/bin:$HADOOP_HOME

• 注意:每次修改环境变量需要执行命令刷新使环境变量生效

source /etc/profile

• 进行格式化操作

hadoop namenode -format

• 启动验证

start-all

• 启动时需要输入用户密码
• 然后输入jps,得到6个节点,说明启动成功