bigdata
文章平均质量分 93
willops
终身学习,学无止境!
展开
-
Apache Flink1.13.x HA集群部署
关于 Hadoop 集群和 ZooKeeper 集群的搭建可以参考:Hadoop 集群环境搭建Zookeeper 单机环境和集群环境搭建原创 2021-07-15 11:36:18 · 1912 阅读 · 2 评论 -
Apache Spark 3.x集群部署
Apache Spark简介Apache Spark是一个开源集群运算框架,于 2009 年诞生于加州大学伯克利分校 AMPLab,2013 年被捐赠给 Apache 软件基金会,2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算,Spark 可以带来上百倍的性能提升,因此它成为继 MapReduce 之后,最为广泛使用的分布式计算框架。Spark HA模式部署节点规划:主机名服务名称spark01Master、Workersp原创 2021-07-08 15:07:34 · 644 阅读 · 2 评论 -
Apache Storm 2.x集群部署
storm简介Storm 是一个开源的分布式实时计算框架,可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析,在线机器学习、持续计算、分布式 RPC、ETL 等场景。Apache Storm 的前身是Twitter Storm平台,采用Clojure开发,目前已经归于 Apache 基金会管辖。Storm集群环境搭建参考:https://storm.apache.org/releases/2.2.0/Setting-up-a-Storm-cluster.html这里搭建一个 3 节点的 S原创 2021-07-02 10:34:48 · 477 阅读 · 0 评论 -
Apache Hive 3.x单机部署
hive简介Hive是一个构建在Hadoop上的数据仓库框架,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。hive能够将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据的存储。Hive最初由Facebook开发,后来移交由Apache软件基金会开发,并作为一个Apache开源项目。hive依赖hadoop,使用hdfs存储数据,准备一个节点,部署hive。安装java环境以二进制方式安装OpenJDK8为例,创建openjdk安装目录:mkdir /o原创 2021-06-23 13:15:32 · 2880 阅读 · 5 评论 -
Apache Hadoop 3.x高可用集群部署
主机名IP地址组件组件组件组件组件组件组件hadoop01192.168.93.61ZookeeperNameNodeDataNodeNodeManageResourceManagerZKFailoverControllerjournalnodehadoop02192.168.93.62ZookeeperNameNodeDataNodeNodeManageResourceManagerZKFailoverControllerjourna...原创 2021-05-05 23:57:03 · 3931 阅读 · 1 评论 -
Zookeeper集群部署
Zookeeper是一个开源的分布式协调服务,由知名互联网公司Yahoo创建,它是Chubby的开源实现;换句话讲,Zookeeper是一个典型的分布式数据一致性解决方案,分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列。原创 2021-04-28 09:56:22 · 953 阅读 · 0 评论 -
Apache Hbase 2.x集群部署
hbase简介Hbase是Hadoop Database的简称 ,Hbase项目是由Powerset公司的Chad Walters和Jim Kelleman在2006年末发起,根据Google的Chang等人发表的论文“Bigtable:A Distributed Storage System for Strctured Data“来设计的。2007年10月发布了第一个版本。2010年5月,Hbase从Hadoop子项目升级成Apache顶级项目。Hbase是分布式、面向列的开源数据库(其实准确的说是面原创 2021-07-01 13:20:36 · 518 阅读 · 0 评论