hadoop分布式部署

查看主机名
	hostname
修改主机名
	hostnamectl --static set-hostname hadoop1
主机名和ip地址的映射修改/etc/hosts文件
	在文件后面添加一行
	192.168.1.xx hadoop1
windows上也可以配置主机名和ip的映射
   C:\Windows\System32\drivers\etc\hosts文件

2 . 安装JDK
3 . 配置环境变量

export JAVA_HOME=/opt/programs/jdk1.8.0_11
export PATH=$PATH:$JAVA_HOME/bin
export ClASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar

4 . 安装hadoop
5 . 配置环境变量

（1）etc/hadoop/core-site.xml:
			fs.defaultFS-->hdfs://hadoop1:9000
			hadoop.tmp.dir --> /opt/programs/hadoop-2.6.0/data/tmp
		<configuration>
				<property>
					<name>fs.defaultFS</name>
					<value>hdfs://hadoop1:9000</value>
				</property>
				<property>
					 <name>hadoop.tmp.dir</name>
					 <value>/opt/module/hadoop-2.6.0/data/tmp</value>
				</property>
				
		</configuration>
		
	（2）etc/hadoop/hdfs-site.xml
		<configuration>
			<property>
				<name>dfs.replication</name>
				<value>3</value>
			</property>
			<!-- 指定secondarynamenode所在的节点 -->
			<property>
				<name>dfs.namenode.secondary.http-address</name>
				<value>hadoop2:50090</value>
			</property>
		</configuration>
	(3) etc/hadoop/hadoop-env.sh
			export JAVA_HOME=/opt/programs/jdk1.8.0_11
	(4)  etc/hadoop/mapred-site.xml
			<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
			</property>
			<!-- 配置historyserver -->
			<property>
				<name>mapreduce.jobhistory.address</name>
				<value>hadoop3:10020</value>
			</property>
			<property>
				<name>mapreduce.jobhistory.webapp.address</name>
				<value>hadoop3:19888</value>
			</property>
	(5) etc/hadoop/yarn-site.xml
		<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
		</property>
			<!-- 指定resourcemanager节点 -->
			<property>
				<name>yarn.resourcemanager.hostname</name>
				<value>hadoop3</value>
			</property>
			<!-- 日志聚集功能开启 -->
			<property>
				<name>yarn.log-aggregation-enable</name>
				<value>true</value>
			</property>
			<!-- 日志文件保存的时间，以秒为单位 -->
			<property>
				<name>yarn.log-aggregation.retain-seconds</name>
				<value>640800</value>
			</property>
	(6) etc/hadoop/slaves
			hadoop1 
			hadoop2
			hadoop3

6 . 配置集群 ssh免密

 ssh可以远程登录到linux节点
    	ssh secure shell
公钥和私钥来配对，验证用户的身份
	每个节点都会有一对公钥和私钥
	1.每个节点使用命令
		ssh-keygen 四下enter，生成自己的公钥和私钥
	2.每个节点使用三次命令，对三个节点进行免密登录的配置
		ssh-copy-id hadoop1/hadoop2/hadoop3(前提是/etc/hosts文件配置完成)

7 . 上述配置完成之后，需要把修改的配置文件发送到另外两台节点上的相同位置进行覆盖
scp -r xxx hadoop2:xxx
2 启动服务

namenode格式化
    bin/hdfs namenode -format
1 启动namenode
    sbin/start-dfs.sh  (全部启动 )
    	 sbin/hadoop-daemon.sh start namenode 
    	 sbin/hadoop-daemon.sh start datanode
 2 启动yarn 在（resourcemanager节点上启动）
 		sbin/start-yarn.sh

3 看一下守护进程
jps
4 使用浏览器查看服务状态
hadoop1：50070
hadoop3：8088