大数据环境搭建
文章平均质量分 80
大数据环境搭建包括Hadoop,HA,Zookeeper,HBase,Hive,Flume,Kafka,Scala,Spark,Flink等的大数据全生态的环境配置
尘.埃
微如尘埃,璀若星辰!
展开
-
大数据之06Hive环境搭建
大数据之06Hive搭建 第一步:Hive安装及配置 (1) 把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下 (2) 解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/ (3) 修改apache-hive-3.1.2-bin.tar.gz的名称为hive mv /opt/module/原创 2021-03-21 09:17:43 · 158 阅读 · 0 评论 -
大数据之05HBase完全分布式集群搭建
大数据之05HBase完全分布式集群搭建 HBase定义 :HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。 逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。 但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensional map。 第一步:环境准备 1.Hadoop正常部署 需要保证Hadoop集群的正常部署并启动: [tan@hadoop102 hadoop-3.1.3]$ start-dfs.sh [t原创 2021-03-14 22:34:54 · 247 阅读 · 0 评论 -
大数据之04HDFS-HA高可用集群搭建
大数据之HDFS-HA高可用集群搭建 1)所谓HA(High Availablity),即高可用(7*24小时不中断服务)。 2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。 4)NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启 NameNode机器需要升级,包括软件、硬件升级,此原创 2021-03-14 17:45:33 · 316 阅读 · 0 评论