Hadoop安装配置

前期准备

1.安装虚拟机
2.下载镜像文件
3.下载安装配置JDK
4.下载安装配置Hadoop
下载并配置jdk,hadoop可以在虚拟机上面进行，用虚拟机火狐浏览器下载相应的包，是以tar.gz结尾的包
5.赋予root权限，下载vim，配置ssh免密登录 （在用vim编辑时，按下i即可进入编辑状态，按esc键之后按:wq!强制退出并保存，:q!强制退出不保存）
6注意:对每个文件的操作都要到其路径下，输入相应的命令才有反应，否则会出现命令找不到

• 此处使用的虚拟机是VirtualBox，
• 镜像文件是 ubuntu-16.04.6-desktop-i386，
• 虚拟机位数是32位，jdk：jdk1.8.0_281-linux-i586.tar.gz
• Hadoop：hadoop-2.7.5.tar.gz

步骤一:安装虚拟机

安装虚拟机，推荐使用virtualBox，可以存放在D盘，虚拟机配在D盘，C盘空间太小，以免太卡。
可参照链接：虚拟机VirtualBox安装教程文档或B站视频VirtualBox安装教程

步骤二：下载镜像文件

下载镜像文件，这里使用Ubuntu的镜像文件。一个磁盘上的数据在另一个磁盘上存在一个完全相同的副本即为镜像。镜像文件相当于一个驱动磁盘 ，镜像是一个文件存储方式，支持刻录，相当于一个光盘的提取物，可以用于数据备份。Ubuntu是一个以桌面应用为主的Linux操作系统。
可参照链接：阿里云开源镜像站下载Ubuntu镜像源

步骤三： 赋予root权限，下载vim，配置ssh免密登录

赋予root权限：
虚拟机控制台输入：sudo password root ------->输入你的密码------->提示输入设置root用户密码+enter键即可（设置root密码时不显示，直接按enter键即可）
使用：su+enter,输入刚设置的密码，切换到root用户

下载vim用于Linux命令行编辑:
打开虚拟机的控制台输入：sudo apt-get install vim

配置ssh免密登录,hadoop集群模式一般运行在redhat或者是centos等系统平台上，在任务计划分发，心跳监测以及任务管理，多租户管理等等都会用到ssh,因此需要安装
可参考：ssh免密登录博客文章

步骤四：下载安装配置JDK

下载安装配置JDK 要查看虚拟机的位数，打开虚拟机的控制台，输入getconf LONG_BIT
jdk以x64结尾的就是64位的，i586结尾的是32位的（一定不要下载错）
JDK下载地址： Oracle官网JDK下载
JDK的安装配置： 虚拟机Linux下的JDK的安装配置博客文章

#1.解压jdk命令
tar -zxvf jdk-8u281-linux-i586.tar.gz

#2.配置环境变量
vi /etc/environment
#第一行一定不要动
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"
export JAVA_HOME=/home/master/Downloads/jdk1.8.0_281
export JRE_HOME=/home/master/Downloads/jdk1.8.0_281/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

#3.配置用户变量
vi /etc/profile
 #会出现下面的形式，在中间添加jdk路径即可
if [ "$PS1" ]; then
  if [ "$BASH" ] && [ "$BASH" != "/bin/sh" ]; then
    # The file bash.bashrc already sets the default PS1.
    # PS1='\h:\w\$ '
    if [ -f /etc/bash.bashrc ]; then
      . /etc/bash.bashrc
    fi
  else
    if [ "`id -u`" -eq 0 ]; then
      PS1='# '
    else
      PS1='$ '
    fi
  fi
fi
 
export JAVA_HOME=/usr/local/java/jdk1.8.0_281
export JRE_HOME=/usr/local/java/jdk1.8.0_152/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
 
if [ -d /etc/profile.d ]; then
  for i in /etc/profile.d/*.sh; do
    if [ -r $i ]; then
      . $i
    fi
  done
  unset i
fi


#4.使得配置文件生效
source /etc/profile

#5.查看版本，若出现版本号则说明成功了。
java -version

步骤五：下载安装配置Hadoop

Hadoop安装配置：先配置单台虚拟机（单个结点）
Hadoop下载地址：Hadoop
可参考B站视频：hadoop配置

Hadoop目录介绍：

bin:存放的是可执行文件
etc :Hadoop相关的配置信息
include:部分C语言的头文件
libexecl配置文件所在的目录，可用于配置日志输出，启动参数等
sbin:存放启动Hadoop服务的脚本
share：文档及附加信息
core-site.xml:核心配置文件
hdfs-site.xml:Hadoop分布式文件系统的配置文件
yarn-site.xml：yarn资源管理器系统，具有分布式计算功能的配置文件
mapred-site.xml:MapReduce面向大规模数据处理的并行计算模型和方法。

#配置Hadoop环境变量：
#1.解压hadoop
tar -zxvf hadoop-2.7.5.tar.gz
mv hadoop-2.7.5/ hadoop2.7.5 修改文件名称，便于后面操作

#配置环境变量
vi /etc/profile
export HADOOP_HOME=/home/master/Downloads/hadoop2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#使配置文件生效
source /etc/profile

#查看Hadoop版本，若有版本号则环境变量配置成功
hadoop version
 
#在Hadoop中配置JDK的环境变量
vi hadoop-env.sh
vi mapred-env.sh
vi yarn-env.sh
#三个文件中都配置
export JAVA_HOME=/usr/local/java/jdk1.8.0_281

<!--配置Hadoop中.xml相关的文件-->
1.core-site.xml 配置如下：全局核心文件，
<configuration>
<!--配置临时目录-->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/master/Downloads/hadoop2.7.5/tmp</value>
</property>
 
<!--配置NameNode在哪一台服务器，此处是master-->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:9000</value>
</property>
</configuration>
 
<!--2.mapred-site.xml.template配置如下
由于只有mapred-site.xml.template，因此复制一份改个名字改成mapred-site.xml-->
cp mapred-site.xml.template mapred-site.xml
<configuration>
<!--配置MapReduce运行时所需要的框架yarn-->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
</configuration>

vi slaves
#配置集群服务器信息（此处配置一台）
#删除原先的localhost,
#添加master结点（虚拟机名称）
 
#格式化文件系统
hdfs namenode -format

#启动Hadoop
start-dfs.sh

#查看进程信息
jps