setup hadoop 1.2.1 on Mac_setuphadoop-CSDN博客

1. 在终端上输入 ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/homebrew/go/install)" （这个命令用来安装brew，如果之前已经安装了可以省略）

2. 通过brew安装hadoop

brew install hadoop //这条命令会自动安装最新的hadoop版本
或者
brew search hadoop //这个命令可以显示可安装的版本
brew install homebrew/versions/hadoop121 //这样可以选择安装hadoop的版本

3. 安装完毕后需要设置路径和环境变量

export HADOOP_HOME="/usr/local/Cellar/hadoop121/1.2.1/libexec"

export HADOOP_VERSION="1.2.1"

PATH=/usr/local/Cellar/hadoop121/1.2.1/libexec/bin:$PATH

export PATH

4. 配置SSH登录

$ ssh-keygen -t rsa -P ""

$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

$ ssh localhost

5. 配置伪分布式环境

需要配置如下四个文件

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

hadoop-env.sh

增加 export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
</configuration>

6. 之后需要对namenode进行format

$ hadoop namenode -format

7. 启动hadoop

$ /usr/local/Cellar/hadoop/1.1.1/libexec/bin/start-all.sh

如果设置了上面3中的环境变量，只需要键入 start-all.sh

8. 查看hadoop运行状况

$ jps
49770 TaskTracker
49678 JobTracker
49430 NameNode
49522 DataNode
49615 SecondaryNameNode
49823 Jps

9. 结束hadoop运行

stop-all.sh