hadoop3.0单机模式搭建

个人博客原文链接

配置客户端连接服务器上的hadoop集群，毕竟自己的机子性能有限，进行一些大规模的计算还是需要到服务器上进行，以下记录了配置客户端的全过程。

搭建环境：CentOS7+hadoop3.0.3+jdk8

前置需求

1. 配置静态ip地址
2. 修改主机名
3. 配置主机名和ip地址映射
4. 关闭防火墙，设置开机不自启动
5. 安装并配置好jdk
   注：以上操作在笔者之前的Linux相关笔记中均有介绍

正式搭建

1. 创建相关目录
   mkdir /usr/local/apps/
2. 解压hadoop-3.0.3.tar.gz到apps/
   tar -zxvf hadoop-3.0.3.tar.gz -C /usr/local/apps/
3. 建立软连接
   hadoop指向hadoop-3.0.3
   ln -s hadoop-3.0.3 hadoop
4. 配置hadoop环境变量
   vi ~/.bashrc
   添加

   export HADOOP_HOME=/usr/local/apps/hadoop-3.0.3
   export HADOOP_PREFIX=$HADOOP_HOME
   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
   export HADOOP_USER_NAME=