大数据：Hadoop：集群搭建(2.0+)

  安装Hadoop

•       解压                     tar -zxvf hadoop-2.7.2.tar.gz -C /opt/hadoop/
•    0.修改环境变量     vim /etc/profile

  export HADOOP_HOME=/opt/hadoop/hadoop-2.7.2
  export PATH=$PATH:$HADOOP_HOME/bin

    1.     vim hadoop-env.sh

• export JAVA_HOME=/usr/local/java/jdk1.8.0_231

•   2.   vim core-site.xml

  	<!-- 指定HDFS中NameNode的地址 -->
  	 <property>
  		<name>fs.defaultFS</name>
  		<value>hdfs://node1:9000/</value>
  	</property>
  	<!-- 指定Hadoop运行时产生文件的存储目录 -->
  	<property>
  		<name>hadoop.tmp.dir</name>
  		<value>/opt/hadoop/hadoop-2.7.2/tmp</value>
  	</property>

•   3.      vim hdfs-site.xml 

  	<!-- 指定Hadoop辅助名称节点主机配置 -->
      <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>node3:9001</value>
      </property>
  	<!-- 指定hdfs副本数量 -->
      <property>
          <name>dfs.replication</name>
          <value>3</value>
      </property>

•    4.     vim mapred-site.xml

  	<!-- 指定MR运行在Yarn上 -->
  	<property>
  			<name>mapreduce.framework.name</name>
  			<value>yarn</value>
  	</property>
  
  	<!-- 以下为选用功能 -->
  	<!-- 历史服务器端地址 -->
  	<property>
  		<name>mapreduce.jobhistory.address</name>
  		<value>node1:10020</value>
  	</property>
  	<!-- 历史服务器web端地址 -->
  	<property>
  		<name>mapreduce.jobhistory.webapp.address</name>
  		<value>node1:19888</value>
  	</property>
  

•   5.     vim yarn-site.xml

  	<!-- Reducer获取数据的方式 -->
  	<property>
  		<name>yarn.nodemanager.aux-services</name>
  		<value>mapreduce_shuffle</value>
  	</property>
  
  	<!-- 指定YARN的ResourceManager的地址 -->
  	<property>
  		<name>yarn.resourcemanager.hostname</name>
  		<value>node2</value>
  	</property>
  	
  	<!-- 以下为选用功能 -->
  	<!-- 日志聚集功能使能 -->
  	<property>
  	    <name>yarn.log-aggregation-enable</name>
  	    <value>true</value>
  	</property>
  
  	<!-- 日志保留时间设置7天 -->
  	<property>
  	    <name>yarn.log-aggregation.retain-seconds</name>
  	    <value>604800</value>
  	</property>

•   6.     vim slaves 

  node1
  node2
  node3

• 复制到集群其他节点    scp -r hadoop-2.7.2/ node3:/opt/hadoop/    scp -r hadoop-2.7.2/ node2:/opt/hadoop/

初始化Hadoop

• 格式化HDFS (node1操作)     hdfs namenode -format
• 启动hadoop                 启动HDFS：  ./start-dfs.sh      --node1
• 启动yarn                  ./start-yarn.sh                             ---node2
•  浏览器验证:
  • HDFS管理界面:   http://192.168.1.101:50070  
  • MR管理界面:       http://192.168.1.102:8088 

测试：wordcount 上传文件+mapereduce

• 1.本地创建文件 vim word.txt   输入一些字符
• 2.执行上传命令  将本地文件上传到hdfs中       hadoop fs -put  word.txt /
• 执行命令 

  hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wrd.txt /wcoutput
  

• 查看过程结果  ：
  • MR管理界面:  查看applycation中看运行状态
  • HDFS管理界面:去找浏览文件系统，下载下来看看