![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
搭建
文章平均质量分 85
十二点的泡面
这个作者很懒,什么都没留下…
展开
-
Hudi最强指南 — Hudi的安装部署(Linux)
随着大数据技术的飞速发展,企业对于数据处理的效率和实时性的要求也越来越高。Hadoop作为大数据领域的领军技术,长久以来一直承载着海量数据的存储和处理任务。然而,传统的Hadoop数据模型在处理更新和删除操作时的局限性,使得它难以满足实时数据湖等复杂场景的需求。正是在这样的背景下,Hudi应运而生。原创 2024-03-26 22:26:13 · 4044 阅读 · 0 评论 -
搭建Hadoop HA
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,它允许用户在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop主要解决大数据存储和大数据分析两大核心问题,其核心组件包括HDFS(Hadoop Distributed File System,即Hadoop分布式文件系统)和MapReduce。而Hadoop HA,即Hadoop高可用(High Availability),指的是Hadoop集群在出现故障时能够持续提供服务的能力。原创 2024-03-26 15:30:49 · 448 阅读 · 0 评论 -
Clickhouse 单机部署安装
在大数据的时代背景下,数据的处理和分析能力成为企业竞争力的关键。ClickHouse,作为一款由俄国Yandex公司开发的分布式数据分析型数据库,凭借其卓越的性能和稳定性,赢得了业界的广泛关注。本文将介绍ClickHouse的基本概念、特性,并详细阐述其单机部署安装的过程,帮助读者初步了解并顺利搭建ClickHouse环境。原创 2024-03-15 12:00:10 · 739 阅读 · 0 评论 -
HBase分布式安装配置
安装部署HBase之前需要确保hadoop分布式部署成功,安装zookeeper。原创 2024-03-16 01:00:00 · 800 阅读 · 0 评论 -
Flink on Yarn安装配置
Apache Flink,作为一个开源的分布式处理引擎,近年来在大数据处理领域崭露头角,其独特的流处理和批处理一体化模型,使得它能够在处理无界和有界数据流时展现出卓越的性能。本文旨在对Flink进行简要的前言性介绍,以及他的安装配置。原创 2024-03-15 02:00:00 · 3569 阅读 · 0 评论 -
Spark on Yarn安装配置
今天我们讲解Spark的安装配置,spark的部署分为两种,一种是Standalone模式,另一种就是on yarn 模式,我们这一节着重讲解on yarn 模式,因为符合生产活动,但也会提到Standalone模式。原创 2024-03-15 01:45:00 · 1244 阅读 · 0 评论 -
Hive和MySQL的部署、配置Hive元数据存储到MySQL、Hive服务的部署
Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务来执行。Hive 定义了一种简单的类 SQL 查询语言,称为 HQL(Hive Query Language),它允许熟悉 SQL 的用户查询数据。原创 2024-03-14 07:00:00 · 2191 阅读 · 0 评论 -
Kafka安装配置
Kafka是一种流处理平台,由LinkedIn公司创建,现在是Apache下的开源项目。Kafka通过发布/订阅机制实现消息的异步传输和处理。它具有高吞吐量、低延迟、可伸缩性和可靠性等优点,使其成为了流处理和实时数据管道的首选解决方案原创 2024-03-14 06:00:00 · 916 阅读 · 0 评论 -
Flume配置,初了解Flume
按官方文档来,Flume就是由Cloudera提供的一个。原创 2024-03-13 07:00:00 · 1039 阅读 · 0 评论 -
Zookeeper搭建
今天来介绍Zookeeper的搭建,其实Zookeeper的搭建很简单,但是为什么还要单独整一节呢,这就不得不先了解Zookeeper有什么功能了!而且现在很火的框架也离不开Zookeeper,比如说HaddopHA高可用框架,很多在Linux里面运行的Hbase数据库,Kafka也离不开Zookeeper所以在搭建前我们先来了解一下Zookeeper。原创 2024-03-13 07:00:00 · 1226 阅读 · 0 评论 -
Hadoop完全分布式的搭建
今天我们来学习Hadoop完全分布式的搭建,我们要搭建hadoop完全分布式要掌握哪些东西呢?首先需要掌握的就是Hadoop的基础知识,了解Hadoop的生态系统,包括Hadoop的核心组件(如HDFS、MapReduce、YARN等)以及其他相关组件(如HBase、Hive、Zookeeper等)。理解这些组件的功能和相互作用对于搭建和管理Hadoop集群至关重要。因为Hadoop通常在Linux操作系统上运行,因此需要对Linux有一定的了解,包括基本的命令行操作、系统管理和网络配置等。原创 2024-03-12 08:15:00 · 1396 阅读 · 0 评论