MacOs Hadoop环境搭建 IDEA开发MapReduce程序及调试

公司有个计算需求，由于不能通过连接公司的Hadoop集群进行本地编写MR程序进行调试

所以直接自己搭建一个本地Hadoop环境进行MR程序测试，然后再讲程序打包丢到公司Hadoop集群

别的不说，直接上干货

环境

操作系统：MacOS

开发环境：IDEA

步骤：

一、下载hadoop安装包:http://hadoop.apache.org/releases.html

公司目前使用2.6.5，为了避免版本上的麻烦，我也安装的2.6.5

点binary下载安装包

二、解压安装

将下载好的hadoop-2.6.5.tar.gz放在一个目录，比如"~/software/"

解压：tar -zxvf hadoop-2.6.5.tar.gz

在当前目录下生成：hadoop-2.6.5目录

三、配置

将目录切换到/software/hadoop-2.6.5/etc/hadoop下

1、在hadoop-env.sh中配置环境变量

添加：export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_162.jdk/Contents/Home

将 export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

改为

export HADOOP_OPTS=