Mac OSX搭建Hadoop

Mac OSX搭建Hadoop

本文主要阐述在mac上搭建hadoop，参考 http://www.jianshu.com/p/3aebdba32363
首先保证xcode 最新

1.  准备
`这里写代码片`安装Homebrew和Cask
$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
$ brew install caskroom/cask/brew-cask

安装cmake

$ brew install cmake

下载安装配置maven
官网下载，配置环境变量

下载  protobuf-2.5.0.tar.gz （git下载，否则容易出问题）
$ cd protobuf-2.5.0  
$ ./configure --prefix=/usr/local/protoc/  (这个目录可以随便自己建立，编译后的文件位于/usr/local/protoc/目录下)
$ make
$  make install

1. 安装jdk1.7

http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html
配置环境变量（.bash_profile文件中）
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home
$ java -version

1. 配置SSH

首先在系统偏好设置->共享->打开远程登录服务->右侧选择允许所有用户访问
生成密钥对,执行如下命令
$ ssh-keygen -t rsa
执行这个命令后, 会在当前用户目录中的.ssh文件夹中生成id_rsa文件, 执行如下命令:
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
使用下面命令测试是否能够不使用密码登录
$ ssh localhost
、、Last login: Thu Mar  5 17:30:07 2015
4. 安装Hadoop
$ brew install hadoop
在目录 /usr/local/Cellar/hadoop目录下

4.1. 配置Hadoop
配置hadoop-env.sh

在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hadoop-env.sh文件

找到其中export HADOOP_OPTS=”$HADOOP_OPTS -Djava.net.preferIPv4Stack=true”:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到core-site.xml

在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到mapred-site.xml, 在其中添加:

4.2. 启动后台程序
务必首先在bin目录下，格式化hdfs
$ hadoop namenode -format
在/usr/local/Cellar/hadoop/2.6.0/sbin目录下, 执行如

$ ./start-dfs.sh #启动HDFS

$ ./stop-dfs.sh #停止HDFS

, 可以直接在浏览器中输入http://localhost:50070/访问Hadoop页面

1. 所有环境变量(.bash_profile) 例子

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home
export PATH="/opt/local/bin:/opt/local/sbin:$PATH"
export MAVEN_HOME=/Users/devin/soft/apache-maven-3.3.9 
export PATH=$PATH:$MAVEN_HOME/bin  
export PATH=$PATH:/Users/devin/soft/protobuf/bin  
export ANT_HOME=/Users/devin/soft/apache-ant-1.9.7
export FINDBUGS_HOME=/Users/devin/soft/findbugs-3.0.1
export PATH=$PATH:$ANT_HOME/bin:$FINDBUGS_HOME/bin
export CLASSPATH=.:JAVA_HOME/lib/tools.jar