大数据
文章平均质量分 86
THE WHY
擅长微信小程序开发,正在学习数据分析,大数据开发相关内容,有需要可以找我~
展开
-
【总结】Maxwell学习笔记
本文介绍了maxwell的简单使用,包括其安装部署以及如何进行增量数据同步和历史数据全量同步等内容原创 2024-02-26 21:52:18 · 1279 阅读 · 0 评论 -
Flink多流转换(2)—— 双流连结
本文介绍了Flink多流转换中的双流联结部分原创 2024-01-25 21:30:29 · 1348 阅读 · 0 评论 -
Flink多流转换(1)—— 分流&合流
本文介绍了flink多流转换中的分流和河流原创 2024-01-23 22:30:08 · 1660 阅读 · 0 评论 -
Flink处理函数(3)—— 窗口处理函数
本文介绍了Flink处理函数中的窗口处理函数原创 2024-01-20 16:53:05 · 757 阅读 · 0 评论 -
Flink处理函数(2)—— 按键分区处理函数
本文介绍了Flink处理函数中按键分区处理函数的使用原创 2024-01-20 16:50:46 · 1211 阅读 · 0 评论 -
【教程】集群搭建准备工作全流程
本文介绍了如何基于VMware创建虚拟机进行集群搭建的环境配置,包括VMware安装使用、模板虚拟机创建及环境配置、Xshell和Xftp的安装使用、虚拟机的克隆及环境配置等内容原创 2024-01-16 17:30:48 · 1476 阅读 · 0 评论 -
【总结】Dinky学习笔记
Dinky 是一个开箱即用、易扩展,以 Apache Flink 为基础,连接 OLAP 和数据湖等众多框架的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践;本文介绍了Dinky框架的基础内容,包括Dinky概述、安装部署、集群注册、作业提交运行、以及持久化Catalog、变量定义、CDCSOURCE整库同步、UDF开发、用户管理、告警信息等内容原创 2024-01-15 19:20:44 · 2520 阅读 · 3 评论 -
Flink 处理函数(1)—— 基本处理函数
本文介绍了Flink处理函数中的基本处理函数ProcessFunction原创 2024-01-15 18:42:32 · 1149 阅读 · 0 评论 -
Flink窗口(2)—— Window API
本文介绍了Flink窗口的Window API内容,包括窗口分配器以及窗口函数两部分原创 2024-01-13 21:03:10 · 1312 阅读 · 0 评论 -
Flink 窗口(1)—— 基础概念
本文介绍了Flink框架中窗口的基本概念原创 2023-12-20 16:25:33 · 1105 阅读 · 0 评论 -
iceberg学习笔记(2)—— 与Hive集成
本文介绍了iceberg框架如何与hive进行集成原创 2023-11-20 22:18:22 · 1543 阅读 · 0 评论 -
Iceberg学习笔记(1)—— 基础知识
本文介绍了数据湖框架iceberg的基础知识原创 2023-11-20 22:11:29 · 487 阅读 · 0 评论 -
Zookeeper实战案例(1)
本文介绍了一个Zookeeper 服务器动态上下线监听的案例原创 2023-11-19 16:07:35 · 629 阅读 · 0 评论 -
Zookeeper学习笔记(2)—— Zookeeper API简单操作
zookeeper中API的简单操作原创 2023-11-19 16:03:51 · 548 阅读 · 0 评论 -
Flume学习笔记(4)—— Flume数据流监控
本文介绍了flume中如何通过ganglia进行数据流的监控原创 2023-11-18 11:08:39 · 780 阅读 · 0 评论 -
Flume学习笔记(3)—— Flume 自定义组件
本文介绍了flume如何自定义interceptor、source、sink等组件原创 2023-11-18 11:04:59 · 992 阅读 · 0 评论 -
Flume学习笔记(2)—— Flume进阶
本文介绍了flume的进阶操作,主要是其拓扑结构,并以具体的实例介绍了flume如何实现多路复用、负载均衡和故障转移,以及聚合操作原创 2023-11-17 16:23:39 · 751 阅读 · 0 评论 -
Flume学习笔记(1)—— Flume入门
本文介绍了flume入门相关的知识,包括flume基础架构,安装部署以及四个入门案例,介绍了常用的hdfs sink、spooldir source、taildir source等原创 2023-11-17 16:19:57 · 810 阅读 · 0 评论 -
Zookeeper学习笔记(1)—— 基础知识
本文介绍了zookeeper框架的基础知识,包括工作机制、集群搭建流程、leader选举机制以及命令行操作等内容原创 2023-11-15 23:49:39 · 1172 阅读 · 1 评论 -
大数据开发学习笔记汇总篇
本文介绍了大数据开发各个框架的学习笔记,包括Hadoop、spark、kafka、clickhouse、hbase、hive、flink、airflow、zookeeper、flume等,未完待续原创 2023-11-15 15:25:15 · 326 阅读 · 0 评论 -
Clickhouse学习笔记
Clickhouse学习笔记原创 2023-11-14 15:18:10 · 496 阅读 · 0 评论 -
HBase学习笔记(3)—— HBase整合Phoenix
本文介绍了hbase如何与phoenix结合使用,主要目的是使用sql操作hbase原创 2023-11-14 15:09:39 · 1416 阅读 · 0 评论 -
Clickhouse学习笔记(15)—— Clickhouse备份
本文介绍了clickhouse的数据备份方法,包括手动备份和使用clickhouse-backup进行备份原创 2023-11-14 15:03:17 · 1503 阅读 · 0 评论 -
Clickhouse学习笔记(14)—— Clickhouse监控
本文介绍了如何通过Prometheus + Grafana 对ck的运行情况进行监控,Prometheus 负责收集各类系统的运行指标;Grafana 负责可视化原创 2023-11-13 12:49:43 · 719 阅读 · 0 评论 -
Clickhouse学习笔记(13)—— Materialize MySQL引擎
本文介绍了clickhouse中如何使用Materialize MySQL引擎原创 2023-11-13 12:42:56 · 940 阅读 · 0 评论 -
Clickhouse学习笔记(12)—— 物化视图
本文介绍了clickhouse物化视图的相关知识原创 2023-11-12 13:16:36 · 887 阅读 · 0 评论 -
Clickhouse学习笔记(11)—— 数据一致性
本文介绍了clickhouse数据一致性的相关操作原创 2023-11-12 13:12:27 · 698 阅读 · 0 评论 -
Clickhouse学习笔记(10)—— 查询优化
本文介绍了clickhouse的查询优化相关内容原创 2023-11-12 13:06:22 · 2023 阅读 · 0 评论 -
Clickhouse学习笔记(9)—— 语法优化
本文介绍了Clickhouse的语法优化规则,并给出了使用官方数据集进行测试的详细示例原创 2023-11-12 10:23:27 · 388 阅读 · 0 评论 -
Clickhouse学习笔记(8)—— 建表优化
本文介绍了clickhouse建表优化的一些技巧,以及服务器常见参数的一些配置方法原创 2023-11-12 10:15:40 · 699 阅读 · 0 评论 -
Clickhouse 学习笔记(7)—— 查看执行计划
本文介绍了clickhouse如何查看执行计划原创 2023-11-12 10:11:23 · 1200 阅读 · 0 评论 -
Clickhouse 学习笔记(6)—— ClickHouse 分片集群
本文介绍了clickhouse的分片集群机制原创 2023-11-11 11:31:18 · 704 阅读 · 1 评论 -
Clickhouse学习笔记(5)—— ClickHouse 副本
本文介绍了clickhouse的副本机制原创 2023-11-11 11:27:17 · 746 阅读 · 0 评论 -
Clickhouse学习笔记(4)—— Clickhouse SQL
本文介绍了Clickhouse数据库常用的sql操作,并给出了详细的使用示例原创 2023-11-10 23:57:33 · 1067 阅读 · 0 评论 -
Clickhouse学习笔记(3)—— Clickhouse表引擎
本文介绍了clickhouse这一数据库常用的表引擎,包括TinyLog、Memory、MergeTree、ReplacingMergeTree和SummingMergeTree等,并附有详细的操作案例原创 2023-11-10 23:52:21 · 1670 阅读 · 0 评论 -
HBase学习笔记(2)—— API使用
本文介绍了hbase常用的API操作,包括连接建立、DDL和DML等原创 2023-11-09 15:54:29 · 824 阅读 · 0 评论 -
HBase学习笔记(1)—— 知识点总结
本文介绍了hbase的基础知识,分为:HBase概述、HBase 基本架构、HBase安装部署启动、HBase Shell、HBase数据读写流程、HBase 优化六大部分原创 2023-11-09 15:46:10 · 1836 阅读 · 0 评论 -
Hadoop源码阅读(三):HDFS上传
Hadoop源码阅读(三):HDFS上传本文基于尚硅谷Hadoop课程对于hadoop3.1.3的HDFS上传相关部分源码阅读流程进行了解析原创 2023-09-18 12:37:14 · 519 阅读 · 0 评论 -
Hadoop源码阅读(二):DataNode启动
Hadoop源码阅读(二):DataNode启动本文基于尚硅谷Hadoop课程对于hadoop3.1.3的DataNode启动相关部分源码阅读流程进行了解析原创 2023-09-16 18:23:32 · 743 阅读 · 0 评论 -
Hadoop源码阅读(一):NameNode启动
Hadoop源码阅读(一):NameNode启动本文基于尚硅谷Hadoop课程对于hadoop3.1.3的namenode启动相关部分源码阅读流程进行了解析原创 2023-09-12 17:17:41 · 1116 阅读 · 0 评论