大数据之hadoop安装

hadoop的具体概念就不多说了，这里采用简单的集群安装，对于使用zookeeper工具进行高可用的部署后续再说

三台机器

master

slave0

slave2

全部采用root权限安装

下载hadoop安装包，这里使用hadoop-2.7.5

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/hadoop-2.7.5.tar.gz

放到/data目录下

执行tar -zxvf hadoop-2.7.5.tar.gz进行解压

cd hadoop-2.7.5查看是否解压成功

vim /data/hadoop-2.7.5/hadoop/etc/hadoop/hadoop-env.sh

找到 “ export JAVA_HOME ” 这行，用来配置jdk路径

修改为：export JAVA_HOME=/usr/local/java/jdk1.8.0_162/（对应自己的路径）

修改core-site.xml，hdfs-site.xml，yarn-site.xml ，cp mapred-site.xml.template mapred-site.xml，slaves

然后scp -r /data/hadoop root@slave0:/data

scp -r /data/hadoop root@slave1:/data

三台机器都执行

vim /root/.bash_profile

export HADOOP_HOME=/opt/hadoop/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /root/.bash_profile

创建数据库，只在master做

mkdir /data/hadoop/hadoopdata

执行格式化文件系统命令

hadoop namenode -format

然后cd /data/hadoop/hadoop/sbin

执行start-all.sh可以启动服务

执行jps可以查看服务是否启动

master SecondaryNameNode、 ResourceManager、 Jps 、NameNode

slave NodeManager、Jps 、 DataNode

停止服务执行stop-all.sh