hadoop2.x的集群搭建

最新推荐文章于 2022-09-21 23:38:00 发布
最新推荐文章于 2022-09-21 23:38:00 发布
阅读量324 收藏
点赞数
分类专栏： hadoop及其生态圈 文章标签： hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wl1411956542/article/details/52863774
版权

Hadoop集群安装

1.配置服务器

1个主节点：master(192.168.15.128)，2个（从）子节点，slaver1(192.168.15.129)，slaver2(192.168.15.130)

配置主节点名(192.168.15.128)

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=master

配置两台子节点名(192.168.15.129)和(192.168.15.130)

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=slaver1

 

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=slaver2

 

配置hosts

打开主节点的hosts文件，要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息。

vi /etc/hosts

 

192.168.15.128   master

192.168.15.129   slaver1

192.168.15.130   slaver2

保存之后，将主节点的hosts分别拷贝到其他两个子节点

scp /etc/hosts root@192.168.15.129:/etc/

scp /etc/hosts root@192.168.15.130:/etc/

然后分别执行(重启服务器也可以不执行下面的语句): /bin/hostsname hostsname

例如：master上执行 /bin/hostsname master，使之生效。

2. 配置ssh无密码访问

生成公钥密钥对

在每个节点上分别执行：

ssh-keygen -t rsa

一直按回车直到生成结束

执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub

其中前者为私钥，后者为公钥

在主节点上执行：

cp id_rsa.pub authorized_keys

将子节点的公钥拷贝到主节点并添加进authorized_keys

将两个子节点的公钥拷贝到主节点上，分别在两个子节点上执行：

scp ~/.ssh/ id_rsa.pub root@master:/~/.ssh/id_rsa_slaver1.pub

scp ~/.ssh/ id_rsa.pub root@master:/~/.ssh/id_rsa_slaver2.pub

然后在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中去

主节点上执行：

cat id_rsa_slaver1.pub>> authorized_keys

cat id_rsa_slaver2.pub>> authorized_keys

 

最后测试是否配置成功

在master上分别执行

ssh slaver1

ssh slaver2

能正确跳转到两台子节点的操作界面即可，同样在每个子节点通过相同的方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。

 

这里的配置方式可以有多种操作步骤，最终目的是每个节点上的/root/.ssh/authorized_keys文件中都包含所有的节点生成的公钥内容。

将主节点的authorized_keys文件分别替换子节点的authorized_keys文件

主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置

scp authorized_keys root@slaver1:/root/.ssh/

scp authorized_keys root@slaver2:/root/.ssh/

 

3. 安装jdk

卸载jdk

查看系统已经装的jdk：

rpm -qa|grep jdk

卸载jdk:

rpm -e --nodepsjava-1.6.0-openjdk-javadoc-1.6.0.0-1.66.1.13.0.el6.x86_64

安装JDK（三台机器都要安装）

安装在同一位置/opt/java/jdk1.7.0_72

下载JDK

解压JDK ： tar -zxvf /opt/java/jdk-7u72-linux-x64.gz

配置环境变量, 编辑profile文件：

vi /etc/profile

 

在profile文件末尾添加以下代码:

export JAVA_HOME=/opt/java/jdk1.7.0_72

export JRE_HOME=$JAVA_HOME/jre

export PATH=$JAVA_HOME/bin:$PATH

exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

保存后，使刚才编辑的文件生效：

source /etc/profile

测试是否安装成功：java –version

4.安装hadoop

在master主机上安装hadoop

安装位置自定，例如安装在/usr目录下面

下载hadoop包，放在/usr目录下，解压hadoop

tar -zxvf /opt/hadoop/hadoop-2.6.4.tar.gz

 

在usr下面生成hadoop-2.6.4目录

配置环境变量：

vi /etc/profile

在末尾添加：

export HADOOP_HOME=/usr/ hadoop-2.6.4

export PATH=$PATH:$HADOOP_HOME/bin

保存后使新编辑的profile生效：

source /etc/profile

5.配置hadoop

配置hadoop配置文件

需要配置的文件的位置为/hadoop-2.6.4/etc/hadoop，需要修改的有以下几个

hadoop-env.sh

yarn-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves

其中

hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量：

hadoop-env.sh中

# The java implementation to use.

export JAVA_HOME=/opt/java/jdk1.7.0_72

(红色为新添加的内容，其他的代码是文件中原有的)

# The jsvc implementation to use. Jsvc isrequired to run secure datanodes

# that bind to privileged ports to provideauthentication of data transfer

# protocol. Jsvc is not required if SASL is configured for authentication of

# data transfer protocol usingnon-privileged ports.

#export JSVC_HOME=${JSVC_HOME}

 

yarn-env.sh中

 

# User for YARN daemons

exportHADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}

 

# resolve links - $0 may be a softlink

exportYARN_CONF_DIR="${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}"

 

# some Java parameters

export JAVA_HOME=/opt/java/jdk1.7.0_72

(红色为新添加的内容，其他的代码是文件中原有的)

 

 

core-site.xml中

<configuration>

       <property>

               <name>fs.defaultFS</name>

                <value>hdfs://master:9000</value>

       </property>

       <property>

               <name>io.file.buffer.size</name>

                <value>131072</value>

       </property>

       <property>

               <name>hadoop.tmp.dir</name>

               <value>file:/usr/temp</value>

       </property>

       <property>

               <name>hadoop.proxyuser.root.hosts</name>

                <value>*</value>

       </property>

       <property>

               <name>hadoop.proxyuser.root.groups</name>

                <value>*</value>

       </property>

</configuration>

hdfs-site.xml中

<configuration>

       <property>

                <name>dfs.namenode.secondary.http-address</name>

                <value>master:9001</value>

       </property>

       <property>

               <name>dfs.namenode.name.dir</name>

               <value>file:/usr/dfs/name</value>

       </property>

       <property>

               <name>dfs.datanode.data.dir</name>

               <value>file:/usr/dfs/data</value>

       </property>

       <property>

               <name>dfs.replication</name>

                <value>2</value>

       </property>

       <property>

               <name>dfs.webhdfs.enabled</name>

                <value>true</value>

       </property>

       <property>

               <name>dfs.permissions</name>

               <value>false</value>

       </property>

       <property>

               <name>dfs.web.ugi</name>

                <value>supergroup</value>

       </property>

</configuration>

mapred-site.xml中

<configuration>

       <property>

               <name>mapreduce.framework.name</name>

                <value>yarn</value>

       </property>

       <property>

               <name>mapreduce.jobhistory.address</name>

                <value>master:10020</value>

       </property>

       <property>

               <name>mapreduce.jobhistory.webapp.address</name>

                <value>master:19888</value>

       </property>

</configuration>

yarn-site.xml中

<configuration>

       <property>

               <name>yarn.nodemanager.aux-services</name>

               <value>mapreduce_shuffle</value>

       </property>

       <property>

               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

               <value>org.apache.hadoop.mapred.ShuffleHandler</value>

       </property>

       <property>

                <name>yarn.resourcemanager.address</name>

                <value>master:8032</value>

       </property>

       <property>

               <name>yarn.resourcemanager.scheduler.address</name>

                <value> master:8030</value>

       </property>

       <property>

               <name>yarn.resourcemanager.resource-tracker.address</name>

                <value> master:8031</value>

       </property>

       <property>

               <name>yarn.resourcemanager.admin.address</name>

                <value> master:8033</value>

       </property>

       <property>

               <name>yarn.resourcemanager.webapp.address</name>

                <value> master:8088</value>

       </property>

</configuration>

slaves中

slaver1

slaver2

拷贝hadoop安装文件到子节点

主节点上执行：

scp -r /usr/hadoop-2.6.4 root@slaver1:/usr

scp -r /usr/hadoop-2.6.4 root@slaver2:/usr

拷贝profile到子节点

主节点上执行：

scp /etc/profile root@slaver1:/etc/

scp /etc/profile root@slaver2:/etc/

在两个子节点上分别使新的profile生效：

source /etc/profile

 

 

格式化主节点的namenode

主节点上进入hadoop目录

然后执行：

./bin/hadoop namenode –format

新版本用下面的语句不用hadoop命令了

./bin/hdfs namenode –format

 

提示：successfully formatted表示格式化成功

启动hadoop

主节点上在hadoop目录下执行：

./sbin/start-all.sh

 

主节点上jps进程有：

NameNode

SecondaryNameNode

ResourceManager

每个子节点上的jps进程有：

DataNode

NodeManager

如果这样表示hadoop集群配置成功

wangl66
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop2.x集群搭建(1.0).txt
07-03
hadoop集群搭建过程
Hadoop2.6.4 集群搭建
天道酬勤的博客
09-25 410
1.配置服务器 1个主节点：master(192.168.17.130)，2个（从）子节点，（根据个人情况，设定） node1(192.168.17.131)， node2(192.168.17.132) 配置主节点名(192.168.17.130) vi /etc/sysconfig/network 添加内容： NETWORKING=yes ...
hadoop 2.6.4 伪分布集群搭建
jacknichao的专栏
06-28 1382
想要体验一下的强大功能，手头的资源各种受限，无奈只能配置个伪分布的自己耍耍，不过对于学习简单地使用hadoop还是没有问题的。下面列出操作的步骤： ps: 本操作都是在root用户下进行的1. 安装JDK和Hadoop2.6.4去oracle的官网下载恰当版本的jdk，建议jdk7 或者jdk 8,这里以jdk-8u91-linux-x64.tar.gz 为例。下载完之后，将其解压到/usr/lo
hadoop格式化节点、启动及运行状态查看
热门推荐
renzeGIS的专栏
11-10 2万+
1. 格式化节点 1.1 进入hadoop安装目录 1.2
hadoop操作配置格式化等
快乐的瑾
10-30 843
1 用ant jar命令重新编译了hadoop源码之后会生成build文件夹，hadoop重新启动的时候主节点namenode进程会根据build中的版本启动 导致从节点的datanode进程与主节点的版本不一致 2 必须关闭了hadoop集群再格式化主节点，否则会报错，dfs-name已经被锁定，无法再次锁定 3 格式化的时候，如果secondary与namenode在一台机器上，要备份一
解决Yarn页面的Unhealthy Nodes问题
宝罗Paul 的博客
07-31 4642
查看到yarn监控页面上有十几个Unhealthy 节点，分别进去Unhealthy Nodes查看个目录的占用磁盘情况，发现是HDFS的有关目录占用过多了。 (1) tmp_users=`hdfs dfs -ls /tmp/ | awk '{print $8}' | cut -d&amp;amp;amp;amp;amp;amp;amp;amp;quot;/&amp;amp;amp;amp;amp;amp;amp;amp;quot; -f3 | xargs ` [root@w
Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进
01-11
在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么区别？ 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2...
hadoop2.x集群搭建.txt（hdfs和yarn貌似正常，但mapreduce 提交job执行失败，请看我的另一个资源，另一个搭建是成功的）
07-06
hadoop 搭建过程
手把手教你在腾讯云上搭建hadoop3.x伪集群的方法
09-14
主要介绍了手把手教你在腾讯云上搭建hadoop3.x伪集群的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
大数据+Hadoop3.X伪分布式集群搭建笔记+练习搭建Hadoop平台
08-08
练习搭建伪分布Hadoop3.X集群，只用于刚刚开始学习搭建hadoo伪分布式集群的人群，帮助大家快速搭建Hadoop3.X伪分布式集群，快速入门大数据为日后的学习打下坚实的基础
搭建hadoop集群初次格式化namenode时不小心格式化了多次，主节点namenode或者从节点datanode进程不能启动，怎么办？
qq_58281481的博客
09-21 6825
我们在格式化时hadoop集群时，不小心格式化多次，就会导致主从节点之间互相不识别。然后导致启动hadoop集群时，主节点的namenode进程可能不会启动或者从节点的datanode可能不会启动。
Hadoop2.6.4集群搭建
Cody_hong的博客
10-10 243
环境配置： （1）4台配置好的centOs6.5（mini1，mini2，mini3，mini4）,每台机器都新建hadoop用户的用户，授予最高权限； （2）jdk版本：1.7； （3）编译好的hadoop2.6.4安装包（centOS6.5平台） 集群搭建: （1）配置免密登入： cd ~/.ssh        ssh-keygen -t rsa （四个回车）
Ambari日常运维操作命令收集
A Vimer's World
03-28 1726
Ambari REST API查询相关 获取集群配置信息：http://hzadg-mammut-platform1.server.163.org:8080/api/v1/clusters/cluster1?fields=Clusters/desired_configs 特定配置信息(cluster-env)：http://hzadg-mammut-platform1.server.163.o...
hadoop集群-格式化namenode节点后，从节点的datanode不能启动，或者是datanode启动到主节点上。
chun的博客
08-22 732
进行二次namenode格式化前，请注意： hadoop namenode -format 进行着一步前，要把以前格式化的内容删掉，如果，你的路径是在hadoop文件夹内，那么直接格式化即可，如果是在外部创建的文件夹，需要把dfs下的data与name下的所有文件删掉。 ！！！ 这里为了方便看到直接用的图形化界面 从节点下的也要删除。要不然启动后，从节点下没有datanode 然后进行格式化，...
hadoop2.6.4的HA集群搭建超详细步骤
weixin_34192993的博客
05-04 108
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译。 HA的运作机制 （1）hadoop-HA...
Hadoop2.6.4集群环境搭建全记录
程序员之怒
03-22 4546
折腾了两天，总算把环境搭起来了，由于很多资料都是基于Hadoop1.0的，而目前的2.0以上的Hadoop架构发生变化，因此一些老旧的资料就已经不再适用，而我又实在是不喜欢看官方文档，所以整理出这篇攻略给同样不喜欢看英文文档的你（如果你喜欢看还会百度中文的资料么；-）目标：组成一个由四台电脑构成的简单集群，其中一台为master，余下三台为slave。环境：Ubuntu 14.04 LTS 64bi
Hadoop2.6.4集群安装配置
一路前行
07-02 1614
修改hadoop-env.sh vi hadoop-env.sh找到export  JAVA_HOME一行，如下： 将其改为你的jdk路径（echo $JAVA_HOME可以查看jdk路径） 更改配置文件core-site.xml vi core-site.xml
Hadoop集群中MR任务一直卡住
weixin_44572693的博客
02-26 2647
集群三台，节点内存都是3G 版本 hadoop-2.7.4 hive-2.3.4 zookeeper-3.4.11 HIVE执行联合查询之后如下 WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different e...
hadoop2.6.5 HDFS的高可用集群搭建
aizhenshi的博客
06-02 866
1.先来看一下要搭建hadoop集群的HDFS HA结构图2.要配置的HDFS节点分布图从分布图上可以看到，节点1和节点2作为namenode，节点2、3、4作为datanode，节点2、3、4作为Zookeeper，节点1和2作为ZKFC，节点1、2、3作为JournalNode。3.准备4台Server4.配置Zookeeper1）下载Zookerper的jar包，下载链接如下：http://d
haima malala aotuo towin hadoop 2.x(二)大数据视频课程
最新发布
01-19
通过这些视频课程的学习，学生们可以系统地学习和掌握Hadoop 2.x的相关知识，能够独立搭建和管理Hadoop集群，具备数据处理和分析的能力。 此外，课程还将结合实际案例进行讲解，通过实际的数据处理和分析项目，让...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值