大数据平台搭建步骤（hadoop2.7.1+hbase2.1.4+zookeeper3.6.2）

最新推荐文章于 2024-05-08 00:39:19 发布
最新推荐文章于 2024-05-08 00:39:19 发布
阅读量2.6k 收藏 23
点赞数 5
分类专栏： 一些安装。。。 文章标签： hadoop 大数据 linux java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/loveandstory/article/details/114077470
版权

一、准备环境

1.ubuntu16（使用虚拟机实现集群搭建）

在这里插入图片描述
2.jdk1.8

二、安装包准备

由于不同版本之间存在兼容问题，本次搭建使用的是hadoop2.7.1+hbase2.1.4+zookeeper3.6.2
安装包见云盘：链接: 安装包 提取码: 2b5a

三、安装前准备

1、节点主机名-IP映射

（1）修改主机名（三台都需要修改）

vim /etc/hostname

在这里插入图片描述
这里对三台主机的名字进行修改：node1、node2、node3。修改后可使用如下图命令查看主机的名字是否修改成功
在这里插入图片描述
（2）ip映射（三台机器均需操作）
使用ifconfig查看各主机的ip地址：

ifconfig

在这里插入图片描述

vim /etc/hosts

在这里插入图片描述

2、关闭防火墙+ssh免密登录

安装openssh-server
sudo apt install openssh-server

如果你之前开启过防火墙，要先关闭

sudo ufw disable

在这里插入图片描述
接下来要实现3台机器之间的免密登录：不过一般只需要实现node1->node1|node2|node3之间的通道就可以了

ssh-keygen #生成公钥、私钥，每台机器上执行
#只需在node1上执行
ssh-copy-id node1 
ssh-copy-id node2
ssh-copy-id node3

免密登录成功后，使用ssh node3即可无需密码登录！
在这里插入图片描述
（3）集群时间同步

sudo apt install ntpdate
ntpdate ntp4.aliyun.com

在这里插入图片描述
(4)java安装

tar -zxvf  jdk安装包
sudo mv jdk /usr/jdk1.8

#环境变量配置命令
sudo vim /etc/profile
source /etc/profile

环境变量配置：

export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

在这里插入图片描述

四、安装hadoop

本次搭建以三台机器为例，各个节点的分布情况如下：
在这里插入图片描述

1.新建工作目录

mkdir -p /export/server/
mkdir -p /export/data/
mkdir -p /export/software
sudo chmod -R 777 /export/

2.上传、解压安装包

上传安装包到software目录，解压到/export/server目录下

tar -zxvf hadoop-2.7.1.tar.gz -C /export/server/

3.配置文件

在hadoop-2.7.1/etc/hadoop/里修改配置文件，使用vim命令

(1)hadoop-env.sh

root指用户名，依据你自己的机器的用户名而定

#配置JAVA_HOME
export JAVA_HOME=/usr/local/jdk1.8
#设置用户以执行对应角色shell命令，root指用户名
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMAMANAGER_USER=root
(2)core-site.xml
<configuration>
  <!--默认文件系统的名称。通过URI中的schema区分不同文件系统-->
  <!--file://本地文件系统 hdfs://hadoop分布式文件系统-->
  <!--hdfs文件系统访问地址：http://nn_host:8020-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>
  <!--hadoop本地数据存储目录format时自动生成-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.1.4</value>
  </property>
  <!--在Web UI访问HDFS的用户名-->
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
  </property>

</configuration>
(3)hdfs-site.xml
<!--设定SNN运行主机端口-->
<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868<value>
  </property>
 </configuration>
(4)mapred-site.xml

copy一份mapred-site.xml.template 命名为mapred-site.xml文件

<configuration>
  <!--mr程序默认运行方式。yarn集群模式local本地模式-->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <!--MR App Master环境变量-->
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <!--MR Map Task环境变量-->
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <!--MR Reduce Task环境变量-->
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
</configuration>
(5)yarn-site.xml
<configuration>

  <!--yarn集群主角色RM运行机器-->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
  </property>
  <!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才能运行MR程序-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <!--每个容器请求的最小内存资源（以MB为单位）-->
  <property>
    <name>yarn.scheduler.minimun-allocation-mb</name>
    <value>512</value>
  </property>
  <!--每个容器请求的最大内存资源（以MB为单位）-->
  <property>
    <name>yarn.scheduler.maximun-allocation-mb</name>
    <value>2048</value>
  </property>
  <!--容器虚拟内存与物理内存之间的比率-->
  <property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
  </property>

</configuration>
(6)slaves

编辑该文件，每个主机用回车隔开
在这里插入图片描述

4. hadoop环境变量配置

vim /etc/profile
source /etc/profile

在/etc/profile文件添加如下：

export HADOOP_HOME=/export/server/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意：每台机器均要配置

4.将安装包分发到其他主机

scp -r /export/server/hadoop-2.7.1 wang@node2:/export/server
scp -r /export/server/hadoop-2.7.1 wang@node3:/export/server

5.格式化

使用这个命令在node1上运行即可

hdfs namenode -format

在这里插入图片描述

6.启动

cd /export/server/hadoop-2.7.1/sbin
./start-all.sh

在这里插入图片描述
使用jps查看进程，如出现下面进程，则代表启动成功
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
若上述线程均存在，即可访问:http://node1:8088/,hadoop安装完成，可以使用./stop-all.sh先关闭。
在这里插入图片描述

五、安装zookeeper3.6.2

1.上传、解压安装包

tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz

在这里插入图片描述

2. 创建工作目录

创建快照日志存放目录：

mkdir -p dataDir

创建事务日志存放目录：

mkdir -p dataLogDir

注意:如果不配置dataLogDir，那么事务日志也会写在dataDir目录中。这样会严重影响zk的性能。因为在zk吞吐量很高的时候，产生的事务日志和快照日志太多。

3.修改配置文件

(1)在/zookeeper3.6.2/conf里复制一份zoo_sample.cfg重命名为 zoo.cfg

dataDir=/export/software/zookeeper3.6.2/dataDir
dataLogDir=/export/software/zookeeper3.6.2/dataLogDir
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

(2)在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字：

echo "1" > /usr/local/zookeeper-3.4.6/dataDir/myid

(3)远程复制第一台的zk到另外两台上，并修改myid文件为2和3

scp -rp zookeeper-3.4.6 wang@node1:/export/software
scp -rp zookeeper-3.4.6 wang@node2:/export/software

4.添加环境变量

vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6
export PATH=$ZOOKEEPER_HOME/bin:$PATH export PATH
source /etc/profile

5.启动

在ZooKeeper集群的每个结点上，执行启动ZooKeeper服务的脚本:./zkServer.sh start,启动后执行jps若有线程QuorumPeerMain则执行成功。
在这里插入图片描述

六、安装hbase

1.上传、解压文件

tar -zxvf hbase-2.0.4-bin.tar.gz

在这里插入图片描述

2.修改配置文件

(1)hbase-env.sh
export JAVA_HOME=/usr/local/jdk1.8
#使用自己安装的zookeeper
export HBASE_MANAGES_ZK=false
(2)hbase-site.xml
<configuration>
<!--hbase.root.dir 将数据写入哪个目录 如果是单机版只要配置此属性就可以，
value中file:/绝对路径，如果是分布式则配置与hadoop的core-site.sh服务器、端口以及zookeeper中事先创建的目录一致-->
<property>
     <name>hbase.root.dir</name>
     <value>hdfs://node1:9000/hbase</value>
</property>

<!--单机模式不需要配置，分布式配置此项,value值为true,多节点分布-->
<property>
     <name>hbase.cluster.distributed</name>
     <value>true</value>
</property>

<!--单机模式不需要配置 分布式配置此项,value为zookeeper的conf下的zoo.cfg文件下指定的物理路径dataDir=/export/software/zookeeper3.6.2/dataDir-->
<property>
     <name>hbase.zookeeper.property.dataDir</name>
     <value>/export/software/zookeeper3.6.2/dataDir</value>
</property>
<!--端口默认60000-->
<property>
     <name>hbase.master.port</name>
     <value>16000</value>
</property>

<!--zookooper 服务启动的节点，只能为奇数个-->
<property>
     <name>hbase.zookeeper.quorum</name>
     <value>node1,node2,node3</value>
</property>
</configuration>
(3)regionservers

在这里插入图片描述

3.分配到其他机器

scp -rp /export/server/hbase-2.0.4 wang@node2:/export/server/
scp -rp /export/server/hbase-2.0.4 wang@node3:/export/server/

4.添加环境变量

vim /etc/profile
source /etc/profile

export HBASE_HOME=/export/server/hbase-2.0.4
export PATH=$PATH:$HBASE_HOME/bin

并更新到其他机器
最后/etc/profile中的变量有：
在这里插入图片描述

5.启动

先启动zookeeper、hadoop,最后在启动hbase：./start-hbase.sh。
在这里插入图片描述
在这里插入图片描述
hbase shell启动hbase客户端
在这里插入图片描述
成功启动后访问：http://node1:16010
在这里插入图片描述

至此搭建成功！！！

琳酱我爱你
关注
  • 5
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
大数据Hadoop平台搭建(Apache)
weixin_43929380的博客
04-07 698
Hadoop环境搭建 一、节点详情 服务器 配置 组件 hadoop101 8核/16.0GB QuorumPeerMain,PrestoServer,Kafka,DataNode,NodeMananger,worker(spark) hadoop102 8核/16.0GB QuorumPeerMain,PrestoServer(coordernary),Kafka,Secon...
虚拟机环境下Hadoop2.7.1+HBase1.3.5安装配置手册 .docx
10-17
描述了centOS6.5（虚拟机）环境下，hadoop2.7.1+hbase1.3.5版本的安装配置过程，以及个人在安装过程中遇到的问题与总结
hadoop2.7.1+hbase2.1.4+zookeeper3.6.2.rar
02-25
hadoop2.7.1+hbase2.1.4+zookeeper3.6.2集合
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
最全大数据平台环境搭建_大数据平台搭建，大数据开发面试吃透这一篇就没有拿不到的offer
最新发布
2401_84181481的博客
05-08 935
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取 执行命令后会在家目录下生成.ssh文件夹，里面包含id_rsa和id_rsa.pub两个文件。注：使用ssh-keygen -t rsa -P ‘’ -f /root/.ssh/id_rsa命令可避免上述交互式操作。
【大数据毕设环境配置七】-搭建基于hadoop2.7.1+的HBase完全分布式集群
叙话代码
03-28 278
安装说明 必须先安装好zookeeper，参考【大数据毕设环境配置五】 必须安装好hadoop（HA）集群 参考 【大数据毕设环境配置六】 开放master 的16010端口（到安全组） 查看hbase和hadoop的对应关系 参考:点击这里查看 安装过程 scp 上传hbase1.2.6的版本 解压并且配置环境变量 配置文件我已经传到自己的网盘，对应自己的主机名字进行自行修改。点击这里:b...
Hadoop2.7.1+Hbase1.2.1集群环境搭建(7)hbase 性能优化
猿类崛起
03-14 295
(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com/blog/2253544 (3)hadoop2.7.1安装 http://aperise.iteye.com/blog/2245547 (4)hbase安装准备 h...
Hadoop 平台搭建完整步骤
热门推荐
大尧酱的博客
09-28 1万+
Hadoop 平台搭建完整步骤 环境准备 也可以用VMware. 创建三台虚拟机  hd-master、hd-node1、hd-node2 三台虚拟机服务器中的主机名（hostname）分别更改为master、node1、node2。 创建好虚拟机之后 (1) 我们为了能够更加方便来识别主机，我们使用主机名而不是使用IP地址，以免多处配置带来更多的麻烦。把hd-master、hd-n...
Hbase与Hadoop版本对应
web13170611647的博客
08-17 1534
安装HBase时，要考虑选择正确的Hadoop版本，否则可能出现不兼容的情况。“X” = not supported/不支持。“NT” = Not tested/没有测试。“S” = supported/支持。
在docker中配置hadoop2.7.1+hbase1.1.5+mysql8.0.27+hive1.2.1+sqoop1.4.6实验环境
weixin_45704680的博客
11-20 2193
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import
大数据运维初探之Hadoop搭建（入门）
一只菜鸡的专栏
12-24 555
0.大数据技术分类 1.批处理框架：Mapreduce 批处理历史数据 2.流处理框架：storm 一直处理源源不断的数据 3.混合处理框架：spark 1.生态圈核心项目 1.HDFS分布式文件系统 2.yarn调度与管理 3.mapreduce数据并行处理 2.生态圈相关项目 1.hive数据仓库基础架构 2.hbase...
Hadoop生态圈之分布式环境搭建
xunming的专栏
08-11 3312
1安装模式 单机模式 伪分布模式 完全分布式模式 2环境搭建 3添加新节点 4初步实战 5数据误删除恢复 回收站恢复 快照恢复 编辑日志恢复 6常见问题 1安装模式 hadoop有三种安装模式： 单机模式 Hadoop的默认模式，当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配
大数据平台搭建手册
12-12
JDK、Hadoop、Hive、Spark、Hbase等系统集群安装环境配置、详细安装步骤、及配置文件修改。
hadoop2.7.1+zk3.5+hbase2.1+phoenix 安装部署环境打包
07-01
本压缩包提供了这些组件的安装部署资源，便于快速搭建一个完整的Hadoop2.7.1、ZK3.5、HBase2.1和Phoenix5.1.0的基础环境。 首先，Hadoop是Apache开源项目，它提供了分布式文件系统（HDFS）和MapReduce计算框架，...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
大数据（hadoop+spark+hbase+zookeeper+kafka+scala+ambari）全套视频教程（花3000￥买的）
06-24
大数据 hadoop spark hbase ambari全套视频教程（购买的付费视频）
五个篇章讲明白如何从0到1搭建大数据平台
数据一哥，公众号：数据社
11-04 1万+
大家好，我是一哥，整理了一下之前写的搭建大数据平台的5个篇章，请大家收藏，文末可以获取完整PDF版本。01如何从0到1搭建大数据平台大数据时代这个词被提出已有10年了吧，越来越多的企业已经...
Hadoop和HBase对应表
杨先森的专栏
05-07 1271
以下是各版本的Hadoop和HBase对应表，
hadoop下载安装教程
08-28
安装Hadoop的步骤如下： 1. 首先，你需要下载Hadoop的安装包。你可以在Apache官方网站上找到Hadoop的下载链接。点击链接，下载hadoop-2.10.0.tar.gz文件。 2. 下载完成后，将安装包移动到你想要安装Hadoop的目录下。 3. 打开终端，并进入Hadoop的安装目录。 4. 解压缩安装包。使用以下命令解压缩hadoop-2.10.0.tar.gz文件： ``` tar -zxvf hadoop-2.10.0.tar.gz ``` 5. 解压缩完成后，你会得到一个名为hadoop-2.10.0的文件夹。 6. 配置Hadoop环境变量。打开你的终端配置文件（例如.bashrc或.bash_profile），并添加以下行： ``` export HADOOP_HOME=/path/to/hadoop-2.10.0 export PATH=$PATH:$HADOOP_HOME/bin ``` 将`/path/to/hadoop-2.10.0`替换为你的Hadoop安装文件夹的实际路径。 7. 保存并关闭终端配置文件。然后，在终端中运行以下命令以刷新配置文件： ``` source ~/.bashrc ``` 8. 接下来，你需要配置Hadoop的核心文件。进入Hadoop的安装目录并打开`hadoop-2.10.0/etc/hadoop`文件夹。 9. 在该文件夹中，你会找到一些配置文件，例如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`。你可以根据自己的需求进行相应的配置更改。 10. 完成配置后，你就可以启动Hadoop了。在终端中运行以下命令以启动Hadoop： ``` start-all.sh ``` 这将启动Hadoop的各个组件，包括HDFS和YARN。 11. 最后，你可以通过访问Hadoop的Web界面来验证安装是否成功。在浏览器中输入以下地址： ``` http://localhost:50070/ ``` 这将打开Hadoop的HDFS界面，其中你可以查看集群的状态。 以上是Hadoop的下载和安装教程。请按照以上步骤进行操作，即可成功安装Hadoop。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [超详细hadoop下载安装教程（附图文）](https://blog.csdn.net/adnb34g/article/details/81382709)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [史上最详细的hadoop安装教程（含坑点）](https://blog.csdn.net/m0_67391377/article/details/126565351)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值