![](https://img-blog.csdnimg.cn/d27f6648c9424227912e0b0786c9f97e.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据组件
文章平均质量分 72
大数据组件
响彻天堂丶
那万一赢了呢?
展开
-
Hive 基础50题 【1-10题】
【代码】Hive 基础50题 【1-10题】原创 2023-03-17 11:51:49 · 470 阅读 · 0 评论 -
Hive 存储格式详解
Hive支持的存储数的格式主要有:TEXTFILE(行式存储) 、SEQUENCEFILE(行式存储)、ORC(列式存储)、PARQUET(列式存储)。原创 2023-03-15 17:46:14 · 919 阅读 · 0 评论 -
Hive 压缩配置详解
压缩性能的比较。原创 2023-03-15 16:34:49 · 364 阅读 · 0 评论 -
DolphinScheduler 安装详解
随便解压到某个地方。原创 2023-02-24 09:28:09 · 382 阅读 · 0 评论 -
Hive3 安装方式详解,datagrid自定义驱动连接hive
hive的安装一共有三种方式:内嵌模式、本地模式、远程模式。元数据服务(metastore)作用是:客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要知道MySQL数据库的用户名和密码,只需要连接metastore 服务即可。内嵌模式使用的是内嵌的Derby数据库来存储元数据,也不需要额外起Metastore服务。数据库和Metastore服务都嵌入在主Hive Server进程中。这个是默认原创 2023-02-20 16:02:22 · 803 阅读 · 0 评论 -
flume kafka channel 应用详解
Kafka Source 是一个 Apache Kafka 消费者,它从 Kafka 主题中读取消息。如果您有多个 Kafka 源正在运行,您可以使用相同的消费者组配置它们,这样每个源都将读取一组唯一的主题分区。测试已完成至 2.0.1,这是发布时的最高可用版本。这是一个可以将数据发布到 Kafka 主题的 Flume Sink 实现。目标之一是将 Flume 与 Kafka 集成,以便基于拉取的处理系统可以处理来自各种 Flume 源的数据。测试已完成至 2.0.1,这是发布时的最高可用版本。原创 2023-02-03 09:39:10 · 869 阅读 · 0 评论 -
Flink 实时计算DIM层实现方案
DIM层设计要点:(1)DIM层的设计依据是维度建模理论,该层存储维度模型的维度表。(2)DIM层的数据存储在 HBase 表中DIM 层表是用于维度关联的,要通过主键去获取相关维度信息,这种场景下 K-V 类型数据库的效率较高。常见的 K-V 类型数据库有 Redis、HBase,而 Redis 的数据常驻内存,会给内存造成较大压力,因而选用 HBase 存储维度数据。(3)DIM层表名的命名规范为dim_表名本层的任务是将业务数据直接写入到不同的 HBase 表中。那么如何让程序知道流中的哪些数据原创 2023-01-18 16:56:28 · 804 阅读 · 1 评论 -
docker 安装 clickhouse 及 配置dbserver
【代码】docker 安装 clickhouse 及 配置dbserver。原创 2023-01-17 01:22:27 · 684 阅读 · 0 评论 -
Habse 集群安装
【代码】Habse 集群安装。原创 2023-01-16 15:39:35 · 159 阅读 · 0 评论