Hadoop安装,伪分布式配置

操作系统:MacOS Sierra 10.12.4
1、下载Hadoop。使用brew下载Hadoop,命令为brew install Hadoop 。默认安装为最新的Hadoop版本,截止2017-7-23日最新的版本为Hadoop 2.8.0。安装目录为/usr/local/cellar/hadoop/2.8.0。

2、需要配置java的安装目录,但是brew 安装java时,已经配置好了。所以我没有配置,到现在为止没有出现什么问题。

3、剩下就是配置Hadoop了,全部按照官网上说的做就行了,官网上的教程是针对Linux的。官网地址为http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SingleCluster.html

4、Pseudo-Distributed Mode模式只要按照官网的说明一步步的进行就可以了,Hadoop的配置文件在安装目录下的libexec/etc/hadoop下,不同的版本配置文件有所不同。配置完etc/hadoop/core-site.xml和etc/hadoop/hdfs-site.xml,设置免密码密码登陆。如果在本地运行程序,则不需要配置yarn;若需要则要配置yarn,配置的全过程官网介绍的很详细,感觉自己给翻译,还不如直接看官网。一步一步的来就可以了!但是要英语好,一遍看不懂就看两遍!

【注:后来添加】最近因为需要,安装了Hadoop的全分布式模式,基本的过程和伪分布式差不多,但是会有些许不同。安装过程参考了这篇文章进行安装,最后安装成功。

我在运行完网上的例子之后,有点体会,坑和大家分享以下:
1、pseudo n.伪君子,假冒的人 adj.冒充的,假的。在Pseudo-Distributed Mode下,有两个文件系统,一个是本地文件系统,另一个是远程分布式分布系统,本地文件系统可以通过shell来访问,而远程分布式文件系统不在本地,需要通过Hadoop shell来访问的,需要学习Hadoop shell。程序的输入,输出都是在远程分布式文件系统中进行的。。但是远程分布式系统是虚拟的,模拟远程机器上的文件系统,其实还是在本地机器上。
2、在Local (Standalone) Mode下,程序的输入,输出都在本地的机器上,这就是本地的含义。
3、出现警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 不能加载本地库,官网给出的解释为:只支持Linux系统,不支持Mac os。

The native hadoop library is supported on *nix platforms only. The library does not to work with Cygwin or the Mac OS X platform.

3、在Linux和MacOS下,当关机之后再重启,出现无法启动dataNode(还是nameNode)的情况。
原因:查看日志文件,得知没有权限访问文件。hadoop会根据core-site.xml默认的情况下把namenode和datanode的信息保存在/tmp/hadoop- user.name {hadoop.tmp.dir}/dfs/data和 hadoop.tmp.dir/dfs/namecoresite.xmlhadoop.tmp.dirhdfssite.xmldfs.namenode.name.dirdfs.datanode.data.dir {hadoop.tmp.dir}/dfs/data和${hadoop.tmp.dir}/dfs/name,并且需要手动去建立。
这个错误是我凭借记忆写下来的,可能会不抬准确。
限于作者知识水平,如有错误,欢迎指正!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值