centos安装与测试Hadoop2.7

为了方便，我们需要对服务器进行配置

1.1修改主机名

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop1

1.2修改主机名和IP的映射关系

vim /etc/hosts

根据自己的IP设置

1.3关闭防火墙
#查看防火墙状态

#systemctl is-enabled firewalld.service
firewall-cmd --state

#关闭防火墙

systemctl stop firewalld.service

#关闭防火墙开机启动

systemctl disable firewalld.service

1.4重启机器

上传文件

使用secureCRT软件连接服务器
为了方便上传下载文件需要安装

yum install lrzsz -y

rz上传
sz下载

Hadoop需要Java的环境，之前我们配置了的
现在我们直接安装Hadoop

• 解压

 tar -zxvf hadoop-2.7.5.tar.gz 

• 修改配置
  切换到目录：cd hadoop-2.7.5/etc/hadoop/

第一个：hadoop-env.sh
		vim hadoop-env.sh
		#第27行
		export JAVA_HOME=/usr/java/jdk1.7.0_65
		
	第二个：core-site.xml

		<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
		<property>
        	<name>fs.defaultFS</name>
       			 <value>hdfs://hadoop1:9000</value>
       	 </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
        		<name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.7.5/tmp</value>
    </property>
		
	第三个：hdfs-site.xml   hdfs-default.xml  (3)
		<!-- 指定HDFS副本的数量 -->
		<property>
			<name>dfs.replication</name>
			<value>1</value>
    </property>
		
	第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
		首先执行
		mv mapred-site.xml.template mapred-site.xml
		vim mapred-site.xml
		<!-- 指定mr运行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
    </property>
		
	第五个：yarn-site.xml
		<!-- 指定YARN的老大（ResourceManager）的地址 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>hadoop1</value>
    </property>
		<!-- reducer获取数据的方式 -->
    <property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
     </property>
	 
	 ****第六个启动集群配置
		vim slaves 
			把localhost改为自己真实的
			hadoop1
			（多个就添加多台）
			
		第六个启动集群配置
		vim slaves 
			把localhost改为自己真实的
			hadoop1
			（多个就添加多台）
		#用于集群配置添加主机名

• 将hadoop添加到环境变量

vim /etc/proflie
		export JAVA_HOME=/usr/local/java/jdk1.8.0_181/
		export HADOOP_HOME=/home/hadoop/hadoop-2.7.5:wq
		export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

	source /etc/profile

• 格式化namenode（是对namenode进行初始化）

hdfs namenode -format (hadoop namenode -format)
上面两条命令尝试，版本问题
成功后效果

验证hadoop是否安装成功

先 jps 命令查看进程

启动hadoop

先启动HDFS
		start-dfs.sh

这里会有一系列的提示信息

再启动YARN
		start-yarn.sh

yarn 也启动成功

启动成功后，我们还可以通过浏览器查看hadoop相关信息
只需要在浏览器输入
注意IP地址换为自己的ip地址

http://ip:50070 （HDFS管理界面）

http://ip:8088（MR管理界面）

至此hadoop启动成功，可以使用它的功能了

停止命令，依次执行：stop-dfs.sh、stop-yarn.sh

HDFS测试

上传文件

hadoop fs -put test.txt hdfs://hadoop2:9000/

下载文件

hadoop fs -get hdfs://hadoop2:9000/test.txt

运行mapreduce 程序

运行提供的例子，切换到hadoop2.7_181/share/hadoop/mapreduce
使用jar包里的例子，mapreduce模型计算圆周率 mapreduce 取样数量(5)，任务数(5)

hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 5 5

测试结果打印