hadoop文件系统测试

2019独角兽企业重金招聘Python工程师标准>>>

java和hadoop环境都搭建好以后,接下来就是测试了,

首先配置文件系统的相关配置,所有的配置文件都在hadoop项目下面的conf目录下面,下面是具体的配置内容,这里测试属于伪分布式,在同一台机器上面运行的.下面的五个配置文件分别对应hadoop生态系统的五大守护进程.

1.core-site.xml

<configuration>
 <property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop-master.dragon.org:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/data/tmp</value>
 </property>
</configuration>

2.hdfs-site.xml

<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.permission</name>
  <value>false</value>
 </property>
</configuration>

3.mapred-site.xml

<configuration>
 <property>
  <name>mapred.job.tracker</name>
  <value>hadoop-master.dragon.org:9001</value>
 </property>
</configuration>

4.masters

hadoop-master.dragon.org

5.slaves

hadoop-master.dragon.org

OK!配置好这些以后,我们键入hadoop,可以看到后面携带的很多参数,第一个就是namenode -format,这个命令就是初始化文件系统.

对了,有个地方忘记说了,上面配置的第四个和第五个文件的内容来源.其实也就是/etc/hosts文件中的内容,在上面配置以前先修改这个文件

记得每次修改文件后,用下source命令,在上面的配置中分成三段,本机的IP地址,域名,主机名.而上面的配置中使用的就是域名...在这里有哥地方提醒下,这样我们在虚拟机上可以访问,但是,在我们自己的电脑上面怎么访问呢.我们打开自己电脑的C盘下面的windows下面有个System32,再找到drivers/etc/hosts.修改这个文件,将linux的配置那一段复制到我们本地的hosts文件下面.然后关闭linux系统的防火墙,这样我们就可以在我们自己的电脑上面去访问文件系统了.

在上面我们格式化文件后,然后启动hadoop的五大守护进程.进入到hadoop的bin目录下面,然后使用start-all.sh就可以了.然后使用jps查看五大守护进程是否都正常启动了.如果正常OK,打开我们的浏览器键入http://hadoop-master.dragon.org:50070.就可以查看我们的文件系统了.键入http://hadoop-master.dragon.org:50030.可以查看mapreduce的运行情况.比如说文件系统就如下图所示.

转载于:https://my.oschina.net/673236963/blog/626875