大数据
关注
分享
扫一扫
文章平均质量分 86
THE WHY
擅长微信小程序开发，正在学习数据分析，大数据开发相关内容，有需要可以找我～
展开
-
Atlas学习笔记（1）—— 基础入门
Atlas入门学习笔记原创 2024-12-11 21:00:20 · 1083 阅读 · 0 评论 -
HDFS不会自动退出安全模式问题
Hadoop集群启动之后，HDFS进入了安全模式，并且不会自动退出，提示数据块的比例并没有达到要求的阈值，因此开启安全模式原创 2024-09-29 14:31:49 · 491 阅读 · 0 评论 -
【总结】Maxwell学习笔记
本文介绍了maxwell的简单使用，包括其安装部署以及如何进行增量数据同步和历史数据全量同步等内容原创 2024-02-26 21:52:18 · 1515 阅读 · 0 评论 -
Flink多流转换（2）—— 双流连结
本文介绍了Flink多流转换中的双流联结部分原创 2024-01-25 21:30:29 · 1550 阅读 · 0 评论 -
Flink多流转换（1）—— 分流&合流
本文介绍了flink多流转换中的分流和河流原创 2024-01-23 22:30:08 · 2170 阅读 · 0 评论 -
Flink处理函数（3）—— 窗口处理函数
本文介绍了Flink处理函数中的窗口处理函数原创 2024-01-20 16:53:05 · 838 阅读 · 0 评论 -
Flink处理函数（2）—— 按键分区处理函数
本文介绍了Flink处理函数中按键分区处理函数的使用原创 2024-01-20 16:50:46 · 1288 阅读 · 0 评论 -
【教程】集群搭建准备工作全流程
本文介绍了如何基于VMware创建虚拟机进行集群搭建的环境配置，包括VMware安装使用、模板虚拟机创建及环境配置、Xshell和Xftp的安装使用、虚拟机的克隆及环境配置等内容原创 2024-01-16 17:30:48 · 2125 阅读 · 0 评论 -
【总结】Dinky学习笔记
Dinky 是一个开箱即用、易扩展，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践；本文介绍了Dinky框架的基础内容，包括Dinky概述、安装部署、集群注册、作业提交运行、以及持久化Catalog、变量定义、CDCSOURCE整库同步、UDF开发、用户管理、告警信息等内容原创 2024-01-15 19:20:44 · 4464 阅读 · 3 评论 -
Flink 处理函数（1）—— 基本处理函数
本文介绍了Flink处理函数中的基本处理函数ProcessFunction原创 2024-01-15 18:42:32 · 1211 阅读 · 0 评论 -
Flink窗口（2）—— Window API
本文介绍了Flink窗口的Window API内容，包括窗口分配器以及窗口函数两部分原创 2024-01-13 21:03:10 · 1402 阅读 · 0 评论 -
Flink 窗口（1）—— 基础概念
本文介绍了Flink框架中窗口的基本概念原创 2023-12-20 16:25:33 · 1168 阅读 · 0 评论 -
iceberg学习笔记（2）—— 与Hive集成
本文介绍了iceberg框架如何与hive进行集成原创 2023-11-20 22:18:22 · 1828 阅读 · 0 评论 -
Iceberg学习笔记（1）—— 基础知识
本文介绍了数据湖框架iceberg的基础知识原创 2023-11-20 22:11:29 · 625 阅读 · 0 评论 -
Zookeeper实战案例（1）
本文介绍了一个Zookeeper 服务器动态上下线监听的案例原创 2023-11-19 16:07:35 · 689 阅读 · 0 评论 -
Zookeeper学习笔记（2）—— Zookeeper API简单操作
zookeeper中API的简单操作原创 2023-11-19 16:03:51 · 615 阅读 · 0 评论 -
Flume学习笔记（4）—— Flume数据流监控
本文介绍了flume中如何通过ganglia进行数据流的监控原创 2023-11-18 11:08:39 · 870 阅读 · 0 评论 -
Flume学习笔记（3）—— Flume 自定义组件
本文介绍了flume如何自定义interceptor、source、sink等组件原创 2023-11-18 11:04:59 · 1090 阅读 · 0 评论 -
Flume学习笔记（2）—— Flume进阶
本文介绍了flume的进阶操作，主要是其拓扑结构，并以具体的实例介绍了flume如何实现多路复用、负载均衡和故障转移，以及聚合操作原创 2023-11-17 16:23:39 · 821 阅读 · 0 评论 -
Flume学习笔记（1）—— Flume入门
本文介绍了flume入门相关的知识，包括flume基础架构，安装部署以及四个入门案例，介绍了常用的hdfs sink、spooldir source、taildir source等原创 2023-11-17 16:19:57 · 928 阅读 · 0 评论 -
Zookeeper学习笔记（1）—— 基础知识
本文介绍了zookeeper框架的基础知识，包括工作机制、集群搭建流程、leader选举机制以及命令行操作等内容原创 2023-11-15 23:49:39 · 1248 阅读 · 1 评论 -
大数据开发学习笔记汇总篇
本文介绍了大数据开发各个框架的学习笔记，包括Hadoop、spark、kafka、clickhouse、hbase、hive、flink、airflow、zookeeper、flume等，未完待续原创 2023-11-15 15:25:15 · 433 阅读 · 0 评论 -
Clickhouse学习笔记
Clickhouse学习笔记原创 2023-11-14 15:18:10 · 541 阅读 · 0 评论 -
HBase学习笔记（3）—— HBase整合Phoenix
本文介绍了hbase如何与phoenix结合使用，主要目的是使用sql操作hbase原创 2023-11-14 15:09:39 · 1569 阅读 · 0 评论 -
Clickhouse学习笔记（15）—— Clickhouse备份
本文介绍了clickhouse的数据备份方法，包括手动备份和使用clickhouse-backup进行备份原创 2023-11-14 15:03:17 · 1651 阅读 · 0 评论 -
Clickhouse学习笔记（14）—— Clickhouse监控
本文介绍了如何通过Prometheus + Grafana 对ck的运行情况进行监控，Prometheus 负责收集各类系统的运行指标；Grafana 负责可视化原创 2023-11-13 12:49:43 · 817 阅读 · 0 评论 -
Clickhouse学习笔记（13）—— Materialize MySQL引擎
本文介绍了clickhouse中如何使用Materialize MySQL引擎原创 2023-11-13 12:42:56 · 1043 阅读 · 0 评论 -
Clickhouse学习笔记（12）—— 物化视图
本文介绍了clickhouse物化视图的相关知识原创 2023-11-12 13:16:36 · 1068 阅读 · 0 评论 -
Clickhouse学习笔记（11）—— 数据一致性
本文介绍了clickhouse数据一致性的相关操作原创 2023-11-12 13:12:27 · 837 阅读 · 0 评论 -
Clickhouse学习笔记（10）—— 查询优化
本文介绍了clickhouse的查询优化相关内容原创 2023-11-12 13:06:22 · 2443 阅读 · 0 评论 -
Clickhouse学习笔记（9）—— 语法优化
本文介绍了Clickhouse的语法优化规则，并给出了使用官方数据集进行测试的详细示例原创 2023-11-12 10:23:27 · 483 阅读 · 0 评论 -
Clickhouse学习笔记（8）—— 建表优化
本文介绍了clickhouse建表优化的一些技巧，以及服务器常见参数的一些配置方法原创 2023-11-12 10:15:40 · 900 阅读 · 0 评论 -
Clickhouse 学习笔记（7）—— 查看执行计划
本文介绍了clickhouse如何查看执行计划原创 2023-11-12 10:11:23 · 1600 阅读 · 0 评论 -
Clickhouse 学习笔记（6）—— ClickHouse 分片集群
本文介绍了clickhouse的分片集群机制原创 2023-11-11 11:31:18 · 1144 阅读 · 1 评论 -
Clickhouse学习笔记（5）—— ClickHouse 副本
本文介绍了clickhouse的副本机制原创 2023-11-11 11:27:17 · 873 阅读 · 0 评论 -
Clickhouse学习笔记（4）—— Clickhouse SQL
本文介绍了Clickhouse数据库常用的sql操作，并给出了详细的使用示例原创 2023-11-10 23:57:33 · 1417 阅读 · 0 评论 -
Clickhouse学习笔记（3）—— Clickhouse表引擎
本文介绍了clickhouse这一数据库常用的表引擎，包括TinyLog、Memory、MergeTree、ReplacingMergeTree和SummingMergeTree等，并附有详细的操作案例原创 2023-11-10 23:52:21 · 2225 阅读 · 0 评论 -
HBase学习笔记（2）—— API使用
本文介绍了hbase常用的API操作，包括连接建立、DDL和DML等原创 2023-11-09 15:54:29 · 855 阅读 · 0 评论 -
HBase学习笔记（1）—— 知识点总结
本文介绍了hbase的基础知识，分为：HBase概述、HBase 基本架构、HBase安装部署启动、HBase Shell、HBase数据读写流程、HBase 优化六大部分原创 2023-11-09 15:46:10 · 2020 阅读 · 0 评论 -
Hadoop源码阅读（三）：HDFS上传
Hadoop源码阅读（三）：HDFS上传本文基于尚硅谷Hadoop课程对于hadoop3.1.3的HDFS上传相关部分源码阅读流程进行了解析原创 2023-09-18 12:37:14 · 616 阅读 · 0 评论