从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（01）——Hadoop

最新推荐文章于 2024-08-02 17:52:34 发布
最新推荐文章于 2024-08-02 17:52:34 发布
阅读量681 收藏 3
点赞数 1
文章标签： hadoop zookeeper hbase hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alonecoding/article/details/106998862
版权

博主将用四篇博客详细讲解如何从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境，本篇主要为搭建Hadoop集群

前期准备

安装包：
在这里插入图片描述
新建一个虚拟机(使用VMtools将虚拟机时间和主机时间同步)
将新建software根目录，将jdk、hadoop、hadoop-native、hive、hbase、zookeeper、mysql和java连接数据库jar包引入software目录下
将jdk、hadoop、hive、hbase、zookeeper解压到opt目录下
hadoop-native解压到hadoop/etc/bin和hadoop/etc/bin/native目录下

配置集群环境变量（将整个集群的环境变量一次配置完成）

vi /etc/profile 将下方代码插入文件最后，source /etc/profile 刷新环境变量
java -version、hadoop version、hive version、hbase version 检查环境变量配置是否正确

export JAVA_HOME=/opt/java8
export JRE_HOME=/opt/jdk8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export HADOOP_HOME=/opt/hadoop
export HBASE_HOME=/opt/hbase
export HIVE_HOME=/opt/hive
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin

在这里插入图片描述
在这里插入图片描述

修改主机名

hostnamectl  set-hostname 主机名

修改主机列表

vi /etc/hosts
//将集群内的虚拟机都加入主机列表

在这里插入图片描述

配置免密登录

生成免密密钥：ssh-keygen -t rsa -P  "" 

将生成的免密私钥复制到公钥：cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys  (>>为追加，若覆盖则用>)

为集群虚拟机添加互信：ssh-copy-id -i .ssh/id_rsa.pub -p22 root@192.168.56.122（或主机名）

免密登录验证：ssh -p 22 root@192.168.56.122（或主机名）

配置单机Hadoop

进入hadoop/etc/hadoop目录下
配置hadoop-env.sh
vi hadoop-env.sh
将JAVA_HOME改为虚拟机的java路径
在这里插入图片描述

配置core-site.xml

vi core-site.xml

<configuration>


<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.56.110:9000</value>    //主机ip
</property>


<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>    //hadoop临时文件存放目录，此处放在hadoop根目录下
</property>


<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>


<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>


</configuration>

配置hdfs-site.xml

vi hdfs-site.xml

<configuration>


<property>
<name>dfs.replication</name>
<value>1</value>
</property>


<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop01:50090</value>    //主机名
</property>


</configuration>

配置mapred-site.xml

vi mapred-site.xml

<configuration>


<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>    //主机名
</property>


<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>    //主机名
</property>


</configuration>

配置yarn-site.xml

vi yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>

<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

配置slaves

vi slaves

将集群的主机名添加到slaves中（目前为单机模式只添加单个虚拟机名就可以）
在这里插入图片描述

格式化HDFS

hadoop namenode -format
//查看是否有报错日志，有报错根据报错信息检查配置文件

启动Hadoop

start-all.sh
//检查节点数量是否正确

在这里插入图片描述

登录网页查看Hadoop

192.168.56.110:50070 //HDFS页面
192.168.56.110:8088 //YARN管理页面
192.168.56.110:19888 //hadoop历史服务界面

检查无误后关闭Hadoop

stop-all.sh

搭建Hadoop集群

将搭建好单机Hadoop的虚拟机复制两个

VMware复制虚拟机时要重新生成MAC地址否则会网卡冲突无法连接网络

修改两个新建虚拟机的IP和主机名

 vi /etc/sysconfig/network-scripts/ifcfg-ens33
hostnamectl set-hostname 主机名

修改集群所有虚拟机的主机列表

vi /etc/hosts
//将所有主机名加入主机列表

为集群内所有虚拟机设置免密登录

//将集群内所有虚拟机设置为免密登录
ssh-keygen -t rsa -P  ""

//将集群内所有虚拟机私钥复制到公钥
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

//为集群内所有虚拟机添加互信
ssh-copy-id -i /root/.ssh/id_rsa.pub -p22 root@192.168.56.122（或主机名）

//检验集群内虚拟机是否互相之间能免密登录
ssh -p 22 root@192.168.56.110

将集群内所有虚拟机切换到/opt/hadoop/etc/hadoop目录下

配置hdfs-site.xml（每台虚拟机都要配置）

vi hdfs-site.xml

<configuration>

<property>
<name>dfs.replication</name>
<value>3</value>    //将数值改为集群虚拟机数量的值
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:50090</value>    //备用节点主机名
</property>
</configuration>

配置slaves(每台虚拟机都要配置)

vi slaves
//将集群内所有的虚拟机名加入slaves中

格式化HDFS

删除集群内所有虚拟机/opt/hadoop/tmp目录：rm -rf /opt/hadoop/tmp
格式化HDFS：hadoop namenode -format

在集群主节点虚拟机上启动hadoop集群

start-all.sh
//检查节点数量若缺少节点，就停止集群，并删除所欲虚拟机上/opt/Hadoop/tmp文件夹，再重新格式化HDFS，再启动hadoop集群

在这里插入图片描述在这里插入图片描述

AloneZaa
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
最最最详细的Hadoop+HBase+Zookeeper+Hive完全分布式环境搭建教程
qq_38497133的博客
06-29 3189
文章目录一、准备工作二、hadoop搭建1.配置主机名和主机列表2.配置免密登录3.配置环境变量4.配置hadoop配置文件三、HBase配置1.配置hbase-site.xml文件2.配置hbase-env.sh文件3.配置log4j.properties文件4.配置regionservers四、集群搭建1.修改hdfs-site.xml文件2.修改slaves文件3.复制到另外两台机器上五、Zookeeper搭建1.配置zoo.cfg文件2.创建myid文件并启动zookeeper3.启动hbase4.
大数据开发Hadoop2.7+zookeeper+Hbase+Hive完全分布式搭建（超详细）
weixin_44735572的博客
09-26 2466
Hadoop2.7+zookeeper+Hbase+Hive完全分布式搭建 最近在新电脑上配置大数据开发环境，踩了不少坑，更具网上的一些方法整理了一套比较简单的hadoop+zookeeper+hbase+hive环境的搭建（由于虚拟机环境均以root用户操作）； 除了zookeeper的myid，其他设置所有虚拟机上都一样，所以可以一台虚拟机全部安装配置完以后直接完全克隆几个，再配置单独的静态...
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（03）——Hbase
AloneCoding的博客
06-28 433
在上一篇zookeeper集群搭建的基础上搭建hbase (https://editor.csdn.net/md/?articleId=106999738) 配置hbase-site.xml 切换到/opt/hbase/conf目录下 vi hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://192.168.109.110:9000/
从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（04）——Hive
AloneCoding的博客
06-28 462
在上一篇hbase搭建的基础上搭建hive集群 (https://editor.csdn.net/md/?articleId=106999922) 安装mysql数据库 请查看博主前面的mysql搭建过程：(https://editor.csdn.net/md/?articleId=106991232) 配置hive.env.sh(若名字不对应则mv改名) 切换到/opt/hive/conf目录下 vi hive.env.sh HADOOP_HOME=/opt/hadoop //hadoop路径 e
从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（02）——Zookeeper
AloneCoding的博客
06-28 369
在上一篇Hadoop集群搭建的基础上搭建zookeeper集群 Hadoop集群](https://editor.csdn.net/md/?articleId=106998862) 配置zoo.cfg 切换到/opt/zookeeper/conf目录下 vi zoo.cfg（若文件名不对应，则修改文件名） # The number of milliseconds of each tick tickTime=2000 maxClientCnxns=0 //添加 # The number of tick
【大数据开发运维解决方案】Hadoop+Mysql+Hive+zookeeper+kafka+Hbase+Sqoop+Kylin单机伪分布式安装及官方案例详细文档
赵延东的一亩三分地
04-25 16万+
Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测试详细文档 #################################################################### 注意： 本篇文章是在本人写的Hadoop+Hive...
Hadoop+Spark+Zookeeper+Hbase集群搭建
有一分热，发一分光。
09-23 3107
文章目录 （插播反爬信息 ）博主CSDN地址：https://wzlodq.blog.csdn.net/ 原创不易，请勿转载（本不富裕的访问量雪上加霜 ） 博主首页：https://wzlodq.blog.csdn.net/ 来都来了，不评论两句吗???? 如果文章对你有帮助，记得一键三连❤ ...
【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南
热门推荐
赵延东的一亩三分地
03-15 17万+
Kylin安装学习-Hadoop+Mysql+Hive+Hbase+Kylin伪分布式安装 最近学习Kylin，肯定需要一个已经安装好的环境，Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS，YARN，MapReduce,，Hive， HBase，Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。 Kylin 可以在 Hadoop 集群...
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
Hadoop+Zookeeper+Hbase+Hive部署.doc
01-15
大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术，构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...
hadoop + zookeeper +hive + hbase安装学习共12页word资料.pdf
11-23
"Hadoop+zookeeper+hive+hbase安装学习" 本资源主要介绍了Hadoop、Zookeeper、Hive...本资源提供了一个完整的Hadoop+zookeeper+hive+hbase安装和配置指南，涵盖了从环境变量的配置到各个组件的安装和配置等多个方面。
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1654
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
Linux系统上安装zookeeper
HLJ洛神千羽
07-25 552
百度网盘 通过网盘分享的文件：zookeeper_linux 链接: https://pan.baidu.com/s/1_hybXZVwTRkotz0VbwbSMw?pwd=8888 提取码: 8888 1.将压缩包拖进虚拟机 2.解压压缩包 cd /ruanjian/zookeeper/ tar -zxvf apache-ZooKeeper-3.7.2-bin.tar.gz 3.进入到conf目录 cd /ruanjian/zookeeper/apache-zookeeper
Couchbase 技术详解
最新发布
Aaron_945的博客
08-02 857
Couchbase 是一款高性能、高可用、分布式的 NoSQL 数据库系统，适用于各种大规模数据存储和访问场景。通过本文的介绍，我们了解了 Couchbase 的工作原理、基础使用、高级功能以及其在不同场景下的优势。
Spring实现自定义注解
东皋长歌的专栏
08-02 217
具体原理网络上一大堆，但是没有看到有人用Spring去实现，其他人实现的基本上都是用了SpringBoot，没有参考意义。希望对你有帮助！
Ubuntu上搭建Hadoop2.2.0+Zookeeper3.4.5+Hbase0.96.2+Hive0.13.1详细教程
"这篇教程详细介绍了如何在Ubuntu 12.04上搭建一个包含hadoop2.2.0、zookeeper3.4.5、hbase0.96.2和hive0.13.1的伪分布式环境，适合学习和测试使用。" 在大数据处理领域，Hadoop是一个开源的分布式计算框架，它允许...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值