hadoop 0.20.2 伪分布式安装和配置

最新推荐文章于 2024-08-23 15:50:26 发布

shyc126

最新推荐文章于 2024-08-23 15:50:26 发布

阅读量242

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/shyc126/article/details/41315205

版权

hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1.查看现有linux下java版本

rpm -qa|grep gcj

rpm -qa|grep jdk

java -version

删除已安装java

rpm -e --nodeps java..........（复制查出的rpm）

2.下载jdk7安装

tar -zxvf /tmp/jdk-7u72-linux-i586.tar.gz

3.下载hadoop安装

tar -zxvf /tmp/hadoop-0.20.2.tar.gz

4.本地ssh无密登录

cd /root/.ssh

ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

5.修改配置文件

vim /etc/profile

在文件最后加上

# set Java environment
export JAVA_HOME=/usr/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# set Hadoop environment
export HADOOPHOME=/usr/hadoop
export PATH=$HADOOPHOME/bin:$PATH

6.修改hadoop配置文件，在conf目录下

1)修改vim hadoop-env.sh

export JAVA_HOME=/usr/java

2)vim core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>

</configuration>

3)vim hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hdfs/data</value>
</property>

</configuration>

4)vim mapred-site.xml

<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/usr/hadoop/mapred/local</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/usr/hadoop/mapred/system</value>
</property>

</configuration>

5)配置master文件，加入namenode的ip地址

localhost

6)配置slaves文件，加入所有datanode的ip地址

localhost

7.启动

cd /usr/hadoop

./bin/hadoop namenode -format

./bin/start-all.sh

8.jps检查启动情况

9.浏览器访问http://localhost:50030和http://localhost:50070