hadoop搭建教程,多环境通吃

前言:

网上有很多关于hadoop搭建的教程,由于搭建环境不同,会出现各种各样的问题。那么就由我来带大家排坑吧,小编虚拟机Ubuntu14.0,centos7,centos6,阿里云centos6,阿里云centos7,腾讯云centos6,腾讯云centos7都搭建成功,中间出现很多不同的情况。只要你跟着我来,就不会出现问题。不管你是伪分布式,还是分布式。


服务器:

用户:hadoop 
ip 机器名 系统
192.168.2.100 master centos7
192.168.2.101 slave1 centos7
192.168.2.102 slave2 centos7

 

注意先把防火墙关了


安装JDK:

1.wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz 建议下载到/opt下

2.解压 tar -zxvf 文件名


修改profile文件:

vim /etc/profile(没有vim 就用vi)

添加以下内容:

export JAVA_HOME=/opt/jdk8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

更新一下配置

source /etc/profile

然后输入jps


这就可以了 jdk配置完成

下载hadoop:

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

然后解压和解压jdk一样,还是建议/opt

给/opt 目录下所有文件权限,方便操作

chmod -R 777 /opt

我们到 /opt/hadoop-2.7.3/etc/hadoop  这个目录下


修改 hadoop-env.sh:


修改这一个就好了

修改 core-site.xml:

添加

<property>

<name>fs.defaultFS</name>

<value>hdfs://127.0.0.1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.7.3/hadoop_tmp</value>
</property>

注意:这里的hdfs地址我用的是127.0.0.1,这是伪分布式搭建绝对不会有问题的一个配置,不管你host配置什么。分布式的话,填上mastdeIP地址192.168.2.100

修改 hdfs-site.xml:

添加:

<property>

<name>dfs.replication</name> 

<value>1</value>
</property>

这是hdfs文件系统的副本数量,伪分布式建议1,分布式有几台机器就填几

注意:hdfs的datanode目录,还有namenode新手目录不要指定,默认就好

修改 mapred-site.xml:

添加:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

修改 yarn-site.xml:

添加:

<property>
<name>yarn.resourcemanager.hostname</name>
<value>127.0.0.1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value>
</property>

注意:这里yarn的hostname伪分布式就填写127.0.0.1不会有错,分布式的话就填192.168.2.100

修改 slaves:

这个文件决定了你搭建完全分布式系统,还是伪分布式系统

直接添加一个127.0.0.1的话就是伪分布式系统

添加192.168.2.101和192.168.2.102的话就是分布式系统,这两个服务器就会启动DataNode进程

我们这里只添加127.0.0.1


好了,到此我们的配置就完成了(老手可以自行配置hosts文件代替ip地址)

格式化namenode!:

无数的人死在了这一步上

/opt/hadoop-2.7.3/bin/hadoop namenode -format


看到这一个也不一定代表你成功!

别怕,继续!

启动集群:

/opt/hadoop-2.7.3/sbin/start-all.sh


jps后出现这些就代表你的伪分布式搭建没有问题的,有人反馈说50070端口或者其他端口打不开,注意你的防火墙是否关闭centos6和centos7的防火墙可不一样!

如果你格式化namenode以后,还是启动不了所有的进程,删掉/home下所有文件再来一下,重启,再次启动集群。阿里云centos6,第一次格式化后启动偶尔会失败一次,原因未知。

亲,如果你还是启动不了所有进程,我确定,你肯定哪一步和我不一样,你可以去/opt/hadoop-2.7.3/logs看一下日志,具体问题都可以找到


完全分布式

按照我的slaves说明去配,复制hadopp到不同的机器下,然后只要master启动hadoop集群就可以了,127.0.0.1要换成master的IP


                                                                                                                                                                                             欢迎大数据方便的同学交流

                                                                                                                                                                                                        qq  475059648

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值