Hadoop的安装方式有三种,分别是单机模式,伪分布式模式,分布式模式。
以下转载至厦大林子雨老师所著图书,当初学习hadoop入门环境搭建部分帮助很多,在此作为推荐。如有侵权请告知删除。
- 单机模式:单机模式:Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
- 伪分布式模式:Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
- 分布式模式:使用多个节点构成集群环境来运行Hadoop。
(一)单机和伪分布式安装方式
如果系统是Linux,请参照下面给出的教程进行安装:
在Ubuntu系统上安装Hadoop请参考:
http://dblab.xmu.edu.cn/blog/install-hadoop/
在CentOS系统上安装Hadoop请参考:
http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/
需要注意以下几点:
系统用户名使用hadoop
不要修改/etc/hosts 默认的localhost地址,如果已经修改请重新把127.0.0.1映射到localhost
如果系统是Mac,请参照下面给出的链接进行安装:
http://dblab.xmu.edu.cn/blog/820-2/
(二)分布式安装方式
(1)在集群上分布式安装Hadoop,请参考:
http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/
HADOOP的核心组件有
- HDFS(分布式文件系统)
- YARN(运算资源调度系统)
MAPREDUCE(分布式运算编程框架)
问题(当初学习hadoop时没有过多记录,好多问题和知识点都忘了…)
1. Can’t get master address from ZooKeeper; znode data == null
zookeeper不能启动时,注意myid文件内数。
2. org.apache.hadoop.dfs.SafeModeException: . Name node is in safe mode
当不能操作文件时考虑安全模式,一般开机一段时间后会自动退出
在hadoop根目录下:bin/hadoop dfsadmin -safemode leave
3.错误:Error contacting service. It is probably not running.
zookeeper未正常关闭重启后可能会报以上错,注意data目录下myid文件内容,可能已被修改。根据配置更正即可。