大数据：Hadoop：单机搭建(2.0+)

一、环境准备

物理机

•         软件安装：VMware + centOS10  secureCRT&FX  IDEA
•         网段设定：虚拟机 网段    192.168.8.1        
•         网络配置：VMnet1  ip     192.168.8.88   255.255.255.0
•         主机映射：host文件       C:\Windows\System32\drivers\etc\hosts  192.168.8.101 node1

虚拟机

•         免密切换root       vim /etc/sudoers       node1   ALL=(ALL)   NOPASSWD: ALL
•         网络设置             192.168.8.101        255.255.255.0       192.168.8.1
•         主机名                 vim /etc/sysconfig/network       HOSTNAME=node1
•         主机映射              vim /etc/hosts   

  192.168.8.101  node1

•         关闭防火墙            service iptables stop
•         关闭防火墙自启     chkconfig iptables off
•         创建文件夹            mkdir /cluster        mkdir /usr/java        mkdir /softs
•         -------------------------------------------------- 重启 + 互ping + 备份 + 上传文件 ---------------------------------------------------------
•         ssh免密访问                cd ~        cd .ssh/        ssh-keygen -t rsa-

  ssh-copy-id 192.168.8.101

二、软件安装

安装JDK

•        解压                  tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/java/
•       修改环境变量     vim /etc/profile

  export JAVA_HOME=/usr/java/jdk1.8.0_231
  export HADOOP_HOME=/cluster/hadoop-2.7.3
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

•       刷新环境变量     source /etc/profile

安装Hadoop

•       解压                     tar -zxvf hadoop-2.7.3.tar.gz -C /cluster/
•        vim hadoop-env.sh

  export JAVA_HOME=/usr/java/jdk1.8.0_231

•      vim core-site.xml

  <configuration>
      <!-- 指定HDFS里的老大（namenode）的通信地址 -->
      <property>
           <name>fs.defaultFS</name>
           <value>hdfs://node1:9000</value>
      </property>
  
          <!-- 指定hadoop运行时产生文件的存储路径 -->
  	<property>
  		<name>hadoop.tmp.dir</name>
  		<value>/cluster/hadoop-2.7.3/tmp</value>
  	</property>
  </configuration>
  
  	

•         vim hdfs-site.xml 

  <configuration>
  	<!-- 设置hdfs副本数量 -->
  	<property>
  		<name>dfs.replication</name>
  		<value>1</value>
  	</property>
  </configuration>

•        vim mapred-site.xml      mv mapred-site.xml.template mapred-site.xml   

  <configuration>
  	<!-- 通知框架MR使用YARN -->
  	<property>
  		<name>mapreduce.framework.name</name>
  		<value>yarn</value>
  	</property>
  </configuration>

•       vim yarn-site.xml

  <configuration>
  	<!-- 指定YARN的老大（ResourceManager）的地址 -->
  	<property>
  		<name>yarn.resourcemanager.hostname</name>
  		<value>node1</value>
  	</property>
  
  	<!-- reducer获取数据的方式 -->
  	<property>
  		<name>yarn.nodemanager.aux-services</name>
  		<value>mapreduce_shuffle</value>
  	</property>
  </configuration>

   

三、初始化+验证

•        格式化HDFS(namenode)            hdfs namenode -format 

•       启动hadoop             ./start-all.sh        或者分别启动(    启动HDFS：  ./start-dfs.sh    启动YARN ： ./start-yarn.sh   )              

•       进程验证  jps   6个    NameNode  Jps  SecondaryNameNode  NodeManager  ResourceManager  DataNode

•       浏览器验证:

  • HDFS管理界面:   http://192.168.8.101:50070  

  • MR管理界面:       http://192.168.8.101:8088