完全分布式hbase集群搭建之（三）---大数据之hadoop集群搭建

最新推荐文章于 2024-05-12 14:37:42 发布
最新推荐文章于 2024-05-12 14:37:42 发布
阅读量180 收藏
点赞数
分类专栏： 分布式hbase搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwq123456788/article/details/102460874
版权

三、分布式hadoop集群搭建

1、hadoop简介

  • 官网

        http://hadoop.apache.org/

        

  • 简介

        Apache Hadoop  是一个框架，用于在由商品硬件构建的大型集群上运行应用程序。Hadoop框架透明地为应用程序提供可靠性和数据移动性。Hadoop实现了一个名为 Map / Reduce 的计算范例  ，其中该应用程序分为许多小工作片段，每个小片段都可以在集群中的任何节点上执行或重新执行。另外，它提供了一个分布式文件系统（HDFS ），该文件系统将数据存储在计算节点上，从而在整个群集中提供了很高的聚合带宽。两者 的MapReduce  和Hadoop分布式文件系统的设计使得节点故障是由框架自动处理。

2、环境准备

        java开发环境前面已经有讲述这里不再累赘详情看系列之第一篇(需要)，分布式zookeeper已经搭建完成环境搭建可详细查看系列之第二篇提供了完整的搭建过程。我们所要搭建的hadoop版本是hadoop 2.7.2。本文搭建了一个由三节点（master、slave1、slave2）构成的Hadoop完全分布式集群（区别单节点伪分布式集群）

        hadoop官网下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

3、搭建hadoop

(1) 创建hadoop用户和hadoop用户组

        groupadd hadoop   // 创建用户组

        useradd hadoop –g hadoop    // 创建用户

        passwd hadoop    // 设置密码

        su - hadoop        // 跳转到hadoop用户并刷新环境

 (2) 配置host

        将所有用到的机器都配置hosts(包括zookeeper地址，hadoop集群)  如下

        vi /etc/hosts

        

        解释：上面三个是我们要用的hadoop集群节点，后面是zookeeper机器节点，三个节点都需要配置。

(3) 配置ssh

        hadoop集群启动的启动需要在一台执行启动所有的从节点所以需要配置ssh免密登录执行相关命令所以互相配置ssh免密登录非常重要。

  • 配置sudo权限和免密不需要询问密码

    路径：  vi  /etc/sudoers

    改变：  末尾添加 hadoop ALL=(ALL)  ALL   保存后退出，并切换回hadoop用户

    执行用户： root用户

     

    路径： vi /etc/ssh/ssh_config

    修改文件： StrictHostKeyCkecking no

    修改

    

    成为

   

  目的是ssh登录时不再需要询问是否登录

   注意：如果配置3台同时互访不需要密码登录则需要在多个节点上同时生成秘钥，同时添加到文件中，如下：(3台同时保持一致)

  • ssh设置

   设置master节点和两个slave节点之间的双向ssh免密通信，下面以master节点ssh免密登陆slave节点设置为例，进行ssh设置介绍（以下操作均在master机器上操作所有操作都保持一致执行下面操作）：

   在hadoop用户下面

   ----------step1

   首先进入 ~/.ssh目录      执行 cd ~/.ssh 如果出现不存在文件夹错误则需要执行ssh localhost(是因为没有执行过登录需要执行再执行就有了)

   

   

   -----------step2

   进入目录： cd ~/.ssh

   生成集群各个节点的rsa密钥：ssh-keygen -t rsa (这里连续按键enter键可以了)

   

   生成两个文件

   

   改变权限 chmod 644  id_rsa.pub 

    ----------step3生成相对应密码文件

   创建秘钥文件： touch authorized_keys 

   给文件赋值： chmod 644 authorized_keys

   拷贝秘钥：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

   剩下两个节点同样操作生成秘钥文件并且赋值一样的权限，并且都添加进来

   

   

   三个全部加进来互相访问

  ---------- step 4

   查看是否开启防火墙如果开起了要关闭，检查如果有则还需要配置hosts.allow

   三台同样配置hosts.allow

   vi  /etc/hosts.allow

    

 ----------- step 5   ssh登录验证

   ssh "ip"

  

 也可以使用ssh “hosts进行登录”

------------step6整理known_hosts集群节点保持一致

说明：有可能这样下来还不能免密登录这说明秘钥文件还是有问题，检查秘钥文件每个是不是完整的一条，有的时候这样粘贴复制的话就使得一个秘钥变成了两行秘钥发生变化这样的问题一定要确认和注意，还有就是互相访问的时候记得一定要先退出。

(4) 配置hadoop配置文件

主要配置文件

配置hadoop的配置文件主要改变core-site.xml　　hdfs-site.xml　　mapred-site.xml　　yarn-site.xml，文件都在 etc/hadoop下面，所有的配置文件都在这里

可能会遇到错误：（意思是找不到java路径这时候我们应该改变一个文件hadoop-env.sh）

改变java路径

我是用的是外部的zookeeper

  • 需要创建这样目录结构

   

  • 配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs:"hadoop主节点":9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/app/hadoop/hadoop/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>zk1:12181,zk2:12181,zk3:12181</value>
</property>
<property>
    <name>hadoop.proxyuser.appadmin.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.appadmin.groups</name>
    <value>*</value>
</property>
<property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
</configuration>
  • hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.httpaddress</name>
<value>"hadoop主节点":9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/app/hadoop/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/app/hadoop/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

</configuration>
  • mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>"hadoop主节点":10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>"hadoop主节点":19888</value>
</property>
<property>
    <name>mapred.output.compress</name>
    <value>true</value>
</property>
<property>
    <name>mapred.output.compression.codec</name>
    <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
<property>
    <name>mapred.compress.map.output</name>
    <value>true</value>
</property>
</configuration>
  • slave

    

  • yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>classloader.resolve-order</name>
<value>parent-first</value>

</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>"hadoop主节点":8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>"hadoop主节点":8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>000361-web-11450:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>"hadoop主节点":8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>000361-web-11450:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>10000</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>8000</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>3000</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2000</value>
</property>
</configuration>

4、配置hadoop环境变量并且启动hadoop

  •    配置环境变量
#hadoop environment vars
export HADOOP_HOME=/app/hadoop/hadoop-2.7.2
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin CLASSPATH JAVA_HOME
  • 验证环境

    校验所有的节点的hadoop环境变量和java环境变量保证正确

  • 启动

    格式化namenode执行：hadoop namenode -format

    执行启动脚本： start-all.sh

5、检查hadoop的运行状况

  • 查看jps是否有以下几个进程存在，排除hbase的

  • 登录页面查看

   

6、总结

       至此分布式hadoop集群到此搭建完毕，后面继续跟进hbase的搭建和hadoop搭建的完善

 

        上一篇：完全分布式hbase集群搭建之（二）---分布式一致性解决方案zookeeper集群搭建

        下一篇：完全分布式hbase集群搭建之（四）---大数据之hbase集群搭建

Aldine
关注
专栏目录
大数据学习----Hadoop分布式环境搭建
lovewuye的博客
05-04 419
大数据学习----Hadoop完全分布式环境搭建 第一章 Linux安装 第二章 Linux配置 第三章 Hadoop完全分布式环境搭建 参考文章：Linux系统（Ubuntu16.04）ssh配置无密码登录 Hadoop完全分布式环境搭建大数据学习----Hadoop完全分布式环境搭建前言一、所需要的资源二、Hadoop概要及原理介绍Hadoop概要三、Hadoop环境搭建前的准备（一）创建Hadoop用户（二）更新apt(三)安装SSH1.每个节点生成公私密钥。2.将公钥文件复制成为成authoriz
Hadoop集群搭建（分布式安装）
m0_56569058的博客
09-15 150
4、可靠性（Rellable）：能自动维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。1、扩容能力（Scalable）：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中。HADOOP_HOME=/home/hadoop/hadoop-3.3.6#你下载的对应的Hadoop版本号。3、高效率（Efficient）：通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。
Hadoop+Hbase分布式集群架构“完全篇”
jj1130050965的博客
01-16 574
本文收录在Linux运维企业架构实战系列 前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~ 1、认识Hadoop和Hbase 1.1 hadoop简单介绍 　　Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。 .
大数据：HBase 集群搭建（master、slave1和slave2）
梁辰兴的博客
10-10 2808
大数据的概念在不断地发酵，进入这个领域的人越来越多。在大数据的领域内，HBase的概念已成为企业和求学者都需要关注的一个重点。HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。
Hbase ha高可靠配置（三节点master1,master2,slave）
qq_64125090的博客
09-04 2755
hbase ha 高可靠详细安装与配置
Hadoop配置环境变量
大黄的博客
09-15 1万+
为了在任何目录下都能直接使用hdfs或者yarn命令（或者启动关闭hadoop），我们需要配置Hadoop的环境变量。 命令如下： sudo vi /etc/profile 环境变量配置为如下所示： export HADOOP_HOME=/home/lemaker/open-source/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 第一行的的HADOOP_HOME是你的hadoop安装的位置。 然后保存环境变量，千万
Hadoop简介、安装与环境变量配置
focus：Follow One Cause Until Success
07-06 3960
Hadoop是由Apache基金会开源的具有可靠、可扩展、分布式计算的大数据框架。Hadoop可以简单的从单个服务器扩展到数千台机器，提供分布式的计算和存储服务。Hadoop通过检测和处理应用程序层的故障来为服务器集群提供高可用性服务。
hbase-0.98.17-hadoop2-bin.tar.gz
12-24
"hbase-0.98.17-hadoop2-bin.tar.gz"的使用涉及了Hadoop集群环境的搭建、HBase的配置与管理等多个方面，是学习和实践HBase分布式存储系统的基础。通过深入理解和熟练掌握，我们可以更好地应对大数据时代的挑战。
Hadoop、Hbase的集群搭建
db_yzh_2086的博客
06-28 338
第一，需要复制虚拟机，分成三台主机，将主机名分成一个主机和两个副机。HDFS每个节点都很重要，特别是DataNode；yarn的节点就比较简单的配置文件即可。Hadoop完全分布式的安装，也就是集群部署。在这种模式下，Hadoop是运行在多个主机/节点上的。一般来说，集群部署至少需要三台主机。最后，我们可以看到成功启用三个节点。第二，需要查看主机是否连接外网。
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
Hadoop配置环境变量（详解版）
CZXY18ji的博客
11-08 6290
1.运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. **这是因为windows环境变量不兼容的原因解决办法： 首先需要下载 hadoop的tar.gz包，前提是JDK必须配置成功，存放路径不能有中文 配置环境变量此电脑–属性–高级...
【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
08-03 1万+
一、下载 Hadoop 二、解压 Hadoop 三、设置 Hadoop 环境变量 四、配置 Hadoop 环境脚本 五、安装 winutils 六、重启电脑 七、验证 Hadoop 安装效果
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1780
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
Hadoop 环境配置
weixin_51568626的博客
08-25 5853
Hadoop完全分布式集群配置
配置hadoop环境变量
2301_80318713的博客
03-28 987
在master虚拟机中上传hadoop-3.1.4.tar.gz压缩包安装到目录/opt/software下。配置完Hadoop环境变量后生效环境变量的配置 source /etc/profile。验证Hadoop环境变量是否成功 hadoop version。hadoopl路径：进入Hadoop文件夹下。生效命令：scource /etc/profile。HADOOP_HOME=（Hadoop路径）验证：hadoop version。配置Hadoop环境变量。
最全hadoop修改配置文件和环境变量_hadoop命令环境变量export配置
2401_84182906的博客
05-04 768
在configuration标签内添加内容补充：这里指定secondarynamenode在node2上，也就意味着我们jps时，这个进程是显示在node2节点上，而不是node1，如果想要放在node1上，只需修改value的值即可。
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 4万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
hadoop修改配置文件和环境变量
Rain_2021245488的博客
07-29 4747
我们要修改的就是主要的自定义配置文件。
最新Hadoop简介、安装与环境变量配置_hadoop环境变量(2)，扫地阿姨看完都学会了
最新发布
2401_84164576的博客
05-12 690
【代码】最新Hadoop简介、安装与环境变量配置_hadoop环境变量(2)，扫地阿姨看完都学会了。
Hadoop2.7.3、HBase1.2.5与ZooKeeper3.4.6分布式集群搭建详析
此外，HBase集群通常会依赖Hadoop的HDFS作为其底层文件系统，所以还需要配置HDFS的配置文件，如hadoop-env.sh、core-site.xml和hdfs-site.xml，以确保数据的可靠复制和分布。在ZooKeeper方面，主要配置zoo.cfg文件，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值