hadoop2.9.0 hdfs环境搭建(伪分布式)

版权声明:本文为博主原创文章,欢迎大家讨论,未经博主允许不得转载. https://blog.csdn.net/u010398771/article/details/79058414

 

搭建hadoop2.9.0伪分布式步骤

 

使用了centos7,jdk1.8,hadoop2.9.0  版本算是很新的了.没有使用什么古老的版本.

 

1.      查看自带的jdk,卸载centos中自带的jdk

查看:

rpm -qa |grep java

卸载:

Yum –y remove jdk___

 

2.      临时关闭防火墙

systemctl stop firewalld

 

3.      安装jdk

解压下载好的jdk,配置环境变量/etc/profile

 

因为我都是root在操作,其实是为了偷懒,随意就放在root下面了,不要学我(捂脸)

exportJAVA_HOME=/root/soft/jdk1.8.0_151

exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportPATH=$PATH:$JAVA_HOME/bin

 

重新加载,source  /etc/profile

Java 进行安装完成的验证

4.      解压下载完成的hadoop2.9

进入解压完成的hadoop2.9 文件夹中.(其帮助文档在hadoop-2.9.0\share\doc\hadoop\index.html这里的,可以查看)

 

因为处于学习阶段,所以使用了比较新的版本,但是,只是搭建了伪分布式的hadoop

 

因为我们使用的centos,默认安装了ssh的,所以不管那么多了.

 

1.      配置hadoop中的java位置,配置的文件是在:

etc/hadoop/hadoop-env.sh 中的export JAVA_HOME=/usr/java/latest    后面的位置修改成自己现在jdk所在的目录就可以保存了

2.      验证上一步的配置完成

bin/hadoop

看到了其中的文档就说明配置没有问题,可以继续了.

3.      配置免密码登陆,首先ssh  localhost 查看登陆是否需要密码,需要的进行如下的操作(只针对本机的操作):

ssh-keygen-t rsa -P '' -f ~/.ssh/id_rsa

 cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

 chmod 0600~/.ssh/authorized_keys

 

执行完后再进行ssh localhost的验证.

4.      配置hdfs

hadoop使用hdfs作为其分布式文件系统,首先要对hdfs做相关配置。hadoop使用xml作为其配置文件的格式。

首先在etc/hadoop/core-site.xml这个文件里作如下配置:

<configuration>

    <property>

        <name>fs.defaultFS</name>

       <value>hdfs://localhost:9000</value>

    </property>

</configuration>

 

5.      etc/hadoop/hdfs-site.xml文件里作如下配置:这里配置的是datanode的个数,因为是伪分布式的,所以只能是一个

<configuration>

    <property>

       <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

6.      格式化文件系统

bin/hdfs namenode -format

7.      启动namenode 和datanode

 sbin/start-dfs.sh

8.      验证是否成功  http://localhost:50070/

成功的的话就能看到效果了,这就是最简单的hadoop hdfs文件系统的伪分布式搭建了.

 暂时就先写这么多,后面在写.

 

 

下周就可以收到我家的小可爱寄给我的香肠了,真是期待.感谢.还有23天回家.真是一种煎熬啊!!!


https://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-18045781879.2.33c5236bZlPDUM&id=569353717228
深入理解Java虚拟机(jvm性能调优+内存模型+虚拟机原理)   很不错的虚拟机视频教程.

阅读更多
换一批

没有更多推荐了,返回首页