CentOS安装Hadoop单机版

1、首先安装jdk

下载jdk-7u45-linux-x64.tar.gz 地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg 提取码3z6s

放到/usr/local目录下

解压jdk，

tar -zxvfjdk-7u45-linux-x64.tar.gz

配置环境变量 vim /etc/profile 在文件末尾加上

JAVA_HOME=/usr/local/jdk1.7.0_45
export JAVA_HOME
export PATH=$JAVA\_HOME/bin:$PATH

刷新环境变量配置 source /etc/profile

测试jdk安装是否成功，显示如下截图代表成功java -version

2、安装hadoop2.9.2 下载hadoop2.9.2 地址http://mirrors.hust.edu.cn/apache/hadoop/common/

放到 /usr/local目录下

解压 tar -zxvf hadoop-2.9.2.tar.gz 查看 ll

配置hadoop环境变量 vim /etc/profile 添加如下配置

export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$HADOOP\_HOME/bin:$PATH

重新刷新配置source /etc/profile

查看版本 hadoop version

配置几个配置文件，路径是 cd /usr/local/hadoop-2.9.2/etc/hadoop/

vim core-site.xml 添加如下配置

fs.defaultFS hdfs://192.168.124.144:9000 hadoop.tmp.dir /usr/local/hadoop-2.9.2/tmp hadoop.native.lib false Should native hadoop libraries, if present, be used.

vim hadoop-env.sh 配置成你自己的jdk安装路径

vim hdfs-site.xml 添加如下内容

dfs.replication 1 dfs.secondary.http.address

192.168.124.144:50090

复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

vim mapred-site.xml 添加如下配置

mapreduce.framework.name yarn

配置yarn-site.xml

vim yarn-site.xml 添加如下配置

yarn.resourcemanager.hostname 192.168.124.144 yarn.nodemanager.aux-services mapreduce\_shuffle

配置好之后切换到sbin目录下

cd /usr/local/hadoop-2.9.2/sbin/ 查看命令 ll

格式化hadoop文件格式，执行命令 hadoopnamenode -format，成功之后启动

执行启动所有命令./start-all.sh

没启动一个进程需要输入密码，可以通过配置ssh来解决，就不需要输入了，暂时配置

使用 jps 查看进程，能看到这些进程证明启动成功了，

也可以通过网页来查看 localhost:50070

我用的是虚拟机安装的，在里面访问的地址，没有问题，如果想在外面访问，需要关闭防火墙

关闭防火墙的方法为：
1. 永久性生效
开启：chkconfig iptables on
关闭：chkconfig iptables off
2. 即时生效，重启后失效
开启：service iptables start
关闭：service iptables stop