基于Linux系统搭建Hadoop文件服务器

基于Linux系统搭建Hadoop文件服务器

1.工具

CentOS7虚拟机镜像、10.0版本以上的Vmware、Hadoop-2.7.7、Linux系统下的jdk1.8、MobaXterm远程连接工具

2.Linux虚拟机安装

打开Vmware，进入安装导航页面，选择自定义安装，下一步。

选择稍后安装操作系统

选择安装Linux操作系统，版本选择CentOS7-64位的，具体的可以依据虚拟机的镜像来进行选择。

更改你的虚拟机名称，位置建议安装在除C盘以外的系统盘，方便管理。

根据自己的电脑的配置选择处理器数量和内核数量，建议选择一个处理器2个内核

网络类型这里选择NAT模式

磁盘容量选择100G

磁盘文件放在刚才创建的文件夹里面，下一步

点击CD，选择使用镜像文件，放入事先准备好的镜像文件后，点击确定。

点击Vmware左上角的编辑，进入虚拟网络编辑器，查看自己的子网IP，点击NAT设置查网关IP，网关IP必须和子网IP在同一网段下且网关IP的最后一位通常不要设置为0、1、255.

设置完成，开启虚拟机

选择Install CentOS 7 等待安装

语言选择中文，软件选择选择虚拟化主机

修改自己的主机名之后点击应用，再点击配置进入网络配置这一步很关键，常规里面勾选可用时自动连接到这个网络，ipv4中方法选择手动连接，地址中的地址填写的是你虚拟机的ip地址，切记必须跟网关在同一网段下，这里的网关就是之前设置的网关，子网掩码默认255.255.255.0，下面的DNS服务器可以选择114.114.114.114或者8.8.8.8，ipv6里面方法选择忽略。

配置好以上，修改自己的主机名，可以查看到自己配置好的网络信息。点击开始安装

点击root密码，设置好密码以后就开始自动安装了（此过程需要5-10分钟）

安装完成以后点击重启

到这里就可以输出用户名和密码登录了，默认用户名为root

登陆完成以后，输入ifconfig，查看自己的虚拟机ip即为自己设置的ip，到这里虚拟机安装完成。

3.搭建Hadoop文件服务器

1.建立连接

利用安装好的MobaXterm远程连接工具，连接到虚拟机方便进行接下来的一系列操作

打开MobaXterm点击上面的session会话，然后点击SSH，创建一个会话对象

这里输入登陆的ip地址和用户名，端口使用默认的22

2.安装jdk

登录成功之后进到opt目录下

上传之前准备好的jdk压缩包并解压

解压完成以后，为了后续操作方便把jdk改名为jdk1.8

3.关闭防火墙

这里关闭Linux的防火墙，并且禁用

# 添加jdk的环境变量
echo 'exprot JAVA_HOME=/opt/jdk1.8' >> etc/profile
echo 'exprot PATH=$JAVA_HOME/bin:$PATH' >> etc/profile
source /etc/profile

4.克隆服务器，修改主机名、ip，设置映射关系

环境变量配置完成之后，克隆另外两台虚拟机

克隆完成之后开机，输入

vim /etc/sysconfig/network-scripts/ifcfg-ens33

更改ip地址，bootproto设置为none或者static，保存退出，再执行

hostnamectl set-hostname 主机名 

修改另外两台机器的主机名

进入etc目录下vim /etc hosts 修改主机映射，其他两台机器也要修改

192.168.1.200  s00
192.168.1.201  s01
192.168.1.202  s02

5.配置SSH免密登录

开启多窗口模式

删除之前残留的密钥：

rm -rf ~/.ssh

生成密钥文件：

ssh-keygen -t rsa

拷贝密钥到所有机器：

ssh-copy-id s00
ssh-copy-id s01
ssh-copy-id s02

6.安装搭建Hadoop集群

1.解压hadoop压缩包

选择一台机器，解压hadoop压缩包

2.修改hadoop的配置文件

• hadoop-env.sh

  # 将JAVA_HOME设置为绝对路径
  export JAVA_HOME=/opt/jdk1.8
  

• core-site.xml

  <configuration>
    <property>
    <!-- 配置hadoop数据存储的目录 -->
       <name>hadoop.tmp.dir</name>
       <value>/opt/hadoop-2.7.7/data</value>
    </property>
    <property>
    <!-- 配置HDFS服务使用的访问链接，同时指定NameNode所在机器 -->
       <name>fs.defaultFS</name>
       <value>hdfs://s00:8020</value>
    </property>
  </configuration>
  

• hdfs-site.xml

  <configuration>
    <property>
    <!-- 配置SNN启动的机器 -->
       <name>dfs.namenode.secondary.http-address</name>
       <value>s02:50090</value>
    </property>
  </configuration>
  

• slaves

  s00
  s01
  s02
  

3.分发安装包到其他两台机器

scp -r /opt/hadoop-2.7.7 host02:/opt

4.同时为三台机器配置环境变量

echo 'export HADOOP_HOME=/opt/hadoop-2.7.7' >> /etc/profile 
echo 'exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH' >> /etc/profile 
source /etc/profile

5.格式化HDFS

hdfs namenode -format

6.启动集群

# 启动集群
start-dfs.sh
# 关闭集群（工作环境谨慎操作）
stop-dfs.sh

7.查看服务器状态

# 访问Hadoop,查看服务器状态
192.168.1.200:50070

至此就完成了对Hadoop文件服务器的搭建。