先放一段别人的文章里对Hadoop的介绍:http://www.ifzer.com/2014/10/31/how_to_install_hadoop_on_mac_ox_x/
Hadoop是Apache基金会下的项目,它能够处理非常大的数据集在分布式计算环境,它可以运行在三种模式下:
- 独立式
Hadoop运行所有的东西在无后台的单独的JVM中,这种模式适合在开发阶段测试与Debug MapReduce程序
- 伪分布式
Hadoop做为后台应用运行在本地机器,模拟小集群
- 全分布式
Hadoop做为后台应用运行真实的集群电脑中
安装步骤:
主要是按照这篇文章做的(http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html),参考了官网教程(https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html)
1. 确定安装了java,网上有说要1.6+以上,我安装的是1.8
$ java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
2. 确定可以用ssh远程登录
直接在命令行输 ssh localhost, 如果不能连接 再输 ssh -version, 如果能看到ssh版本说明电脑上已经安装了只需要配置;
首先在系统偏好设置-》共享-》勾选远程登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
3. 查看java home的位置
如果已经装了jdk,查看jdk所在的位置:(https://dzone.com/articles/java-findingsetting)(配置java_home,参考http://www.mkyong.com/java/how-to-set-java_home-environment-variable-on-mac-os-x/)
/usr/libexec/java_home -V
/Library/Java/JavaVirtualMachines/jdk1.8.0_60.jdk/Contents/Home(这是我的java home)
4.从官网下载最新稳定版Hadoop(http://www.apache.org/dyn/closer.cgi/hadoop/common/)
我选择的是stable2,再下载文件夹里面最大的文件
解压下载的文件,复制解压后文件的路径;
在解压的文件中找到etc/hadoop/hadoop-env.sh,修改该文件中export JAVA_HOME={你的java home地址};
命令行 cd 你的解压后的文件路径
$ bin/hadoop
到这一步Hadoop基本可以算是装好了,接下来就是配置和实践伪分布式
配置: