hadoop 伪分布式搭建与测试

一、准备

     linux 环境下   

    设置hostname

    

sudo hostnamectl set-hostname hadoop0001

    设置hosts

  

vim /etc/hosts

▽
127.0.0.1   localhost 
::1         localhost 
192.168.1.103 hadoop0001

    关闭防火墙    

 

service iptables stop

安装jdk

         如果有就使用批量卸载命令

rpm -qa | grep java | xargs rpm -e --nodeps

        直接安装1.8

yum install java-1.8.0-openjdk* -y

       环境变量配置

vim /etc/profile
 #set java environment  

export JAVA_HOME=/usr/lib/jvm/java

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar

export PATH=$PATH:$JAVA_HOME/bin
 

      设置有效

source /ect/profile

 

二、安装hadoop      

     解压文件

tar -zxvf hadoop-2.4.1.tar.gz  -C ~/app/

    配置文件

cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop/


vim core-site.xml

       <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
		<property>
			<name>fs.defaultFS</name>
			<value>hdfs://hadoop0001:9000</value>
		</property>
		<!-- 指定hadoop运行时产生文件的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
	 		<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
        </property>
		
vim hdfs-site.xml  
		<!-- 指定HDFS副本的数量 -->
		<property>
			<name>dfs.replication</name>
			<value>1</value>
        </property>
		
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
		<!-- 指定mr运行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
        </property>
		
vim yarn-site.xml
		<!-- 指定YARN的老大（ResourceManager）的地址 -->
        <property>
			<name>yarn.resourcemanager.hostname</name>
			<value>hadoop0001</value>
        </property>
		<!-- reducer获取数据的方式 -->
        <property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
          </property>

 

  设置环境hadoop环境变量

vim /etc/profile


export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

有效性

   

source /etc/profile

三 、 启动

      格式化

hadoop namenode -format

     启动hadoop

/home/hadoop/app/hadoop-2.4.1/sbin/start-dfs.sh

/home/hadoop/app/hadoop-2.4.1/sbin/start-yarn.sh

    检测

jps


cd home/hadoop/app/hadoop-2.4.1/tmp/

   tmp下会自动创建文件夹 ， 往下跟踪会发现
   dfs下  会产生   data 、name、namesecondary

 四、测试操作

  进入 mapreduce下，使用用例进行测试：hadoop-mapreduce-examples-2.4.1.jar

cd /home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce

vim test.data
     输入 ： 

         hello cat
         hello can you have supper with me
         if you can not
         i will hate you

  存储文件到hdfs中 ， 创建 hdfs文件路径   ， 存储数据

#创建文件路径

hadoop fs -mkdir /wd

#存储文件

hadoop fs -put test.data  /wd

使用测试jar 进行测试

#检查文件夹

hadoop fs -ls /

#测试jar

hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /wd  /wd/output

 查看输出

hadoop fs -ls /wd/output

-rw-r--r--   1 hadoop supergroup      0 2018-09-17 22:55 /wd/output/_SUCCESS
-rw-r--r--   1 hadoop supergroup      102 2018-09-17 22:55 /wd/output/part-r-00000


 hadoop fs -cat /wd/output/part-r-00000


angry	1
are	1
can	2
cat	1
have	1
hello	2
i	1
if	1
me	1
not	1
so	1
supper	1
sure	1
will	1
with	1
you	4

至此，Hadoop伪分布式搭建和基本测试，完成。

 

欢迎互粉交流     春叁十娘