Mac OSX搭建Hadoop
本文主要阐述在mac上搭建hadoop,参考 http://www.jianshu.com/p/3aebdba32363
首先保证xcode 最新
1. 准备
`这里写代码片`安装Homebrew和Cask
$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
$ brew install caskroom/cask/brew-cask
安装cmake
$ brew install cmake
下载安装配置maven
官网下载,配置环境变量
下载 protobuf-2.5.0.tar.gz (git下载,否则容易出问题)
$ cd protobuf-2.5.0
$ ./configure --prefix=/usr/local/protoc/ (这个目录可以随便自己建立,编译后的文件位于/usr/local/protoc/目录下)
$ make
$ make install
- 安装jdk1.7
http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html
配置环境变量(.bash_profile文件中)
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home
$ java -version
- 配置SSH
首先在系统偏好设置->共享->打开远程登录服务->右侧选择允许所有用户访问
生成密钥对,执行如下命令
$ ssh-keygen -t rsa
执行这个命令后, 会在当前用户目录中的.ssh文件夹中生成id_rsa文件, 执行如下命令:
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
使用下面命令测试是否能够不使用密码登录
$ ssh localhost
、、Last login: Thu Mar 5 17:30:07 2015
4. 安装Hadoop
$ brew install hadoop
在目录 /usr/local/Cellar/hadoop目录下
4.1. 配置Hadoop
配置hadoop-env.sh
在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hadoop-env.sh文件
找到其中export HADOOP_OPTS=”$HADOOP_OPTS -Djava.net.preferIPv4Stack=true”:
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到core-site.xml
在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到mapred-site.xml, 在其中添加:
4.2. 启动后台程序
务必首先在bin目录下,格式化hdfs
$ hadoop namenode -format
在/usr/local/Cellar/hadoop/2.6.0/sbin目录下, 执行如
$ ./start-dfs.sh #启动HDFS
$ ./stop-dfs.sh #停止HDFS
, 可以直接在浏览器中输入http://localhost:50070/访问Hadoop页面
- 所有环境变量(.bash_profile) 例子
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home
export PATH="/opt/local/bin:/opt/local/sbin:$PATH"
export MAVEN_HOME=/Users/devin/soft/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin
export PATH=$PATH:/Users/devin/soft/protobuf/bin
export ANT_HOME=/Users/devin/soft/apache-ant-1.9.7
export FINDBUGS_HOME=/Users/devin/soft/findbugs-3.0.1
export PATH=$PATH:$ANT_HOME/bin:$FINDBUGS_HOME/bin
export CLASSPATH=.:JAVA_HOME/lib/tools.jar