- 博客(15)
- 收藏
- 关注
RSS订阅原创 Flink 去重 Debezium-json 格式数据
Flink 去重 Debezium-json 格式数据，使用 Flink State 状态去重 Debezium-json 合适数据
2023-07-07 09:23:40
914
原创 初识 Apache Iceberg 及自动化 Iceberg 表维护（小文件治理）
Apache Iceberg 架构迁徙及 自动化小文件治理方案
2023-07-05 23:51:19
1495
原创 Hadoop 系列 - 初识 Hadoop 及 NameNode 解析
NameNode 作为集群的 Master 节点，需要管理集群中的所有 Slave 节点即 DataNode，负责 DataNode 的心跳状态检查、上下线和整个集群的所有文件操作（读、写、删除）以及所有的用户操作。所以对于 NameNode 来说，在保证自己高可用的情况下还需要可以支撑超大流量的并发操作。注：运行在Hadoop集群的任务都会产生很多个请求，这些所有的请求都打到 NameNode 这儿 (更新元数据目录树)
2023-07-05 23:10:21
598
原创 Doris Spark Load 记录
在使用 Apache Doris Spark Load 中遇到的问题记录，每个人的环境不同可能遇到的问题 不一样，记录一下希望能帮助到大家
2023-01-04 14:49:55
935
3
原创 Kafka 压缩、限流和 SASL_PLAIN 、 SASL_SCRAM-SHA-256简单认证
限流方式方式优点缺点client id简单便捷client id，一次只能有一个生产者实例，只能单并发user可以多 producer 同时进行，可与client id 进行组合，可以设置用户密码，增加一定的安全性，但用户名密码位置容易暴露需要对kafka 开启安全认证，部署复杂行增加基于 client id 限流使用方法# 对 test_lz4_10m_client 进行限流 生产消费速率为 10 M/S./bin/kafka-configs.sh --
2021-10-03 17:53:32
1829
原创 Presto 系列之 （三）Presto On Yarn
本系列主要会记录笔者在学习和使用 Presto 过程中学习记录及所遇到的问题和解决的方法，会不定期更新，同时也欢迎各位同鞋在文末留言一起探讨使用心得～概述什么是 Presto On Yarn ？为啥要有 Presto On Yarn ，能解决什么问题？实现 Presto On Yarn 需要做些什么？Presto On Yarn 是指将 Presto 集群运行在 Yarn 集群上面将集群资源统一交由 Yarn 进行管理；在实际工作环境中，Presto 集群进行单独部署需要单独的占用额外资源，而 .
2021-06-17 17:43:45
2046
5
原创 Presto 系列之 （二）Presto 安装部署
本系列主要会记录笔者在学习和使用 Presto 过程中学习记录及所遇到的问题和解决的方法，会不定期更新，同时也欢迎各位同鞋在文末留言一起探讨使用心得～在 Presto 系列之（一）初识 Presto 一篇我们大概介绍了 Presto 的架构和 Presto 特点及其查询的拆分执行，在本篇我们实操下 Presto 的部署安装。安装部署笔者的安装环境为：Centos 7jdk 11 （从 presto 332 开始需要使用 jdk11，可不设置环境变量，可在 presto 启动脚本中单独指定 .
2021-06-16 17:46:54
1973
原创 Presto 系列之 （一）初识 Presto
本系列主要会记录笔者在学习和使用 Presto 过程中学习记录及所遇到的问题和解决的方法，会不定期更新，同时也欢迎各位同鞋在文末留言一起探讨使用心得～Presto 简介Presto 是一款由 Facebook 开源的分布式 SQL 查询引擎，被设计为使用 MapReduce 作业管道 ( 如 Hive 或 Pig ) 查询HDFS的替代工具，用于对从 GB 到 PB 级别的各种大小的数据源运行交互式分析查询，并实现秒级和分钟级响应。它是一个符合 ANSI SQL 的查询引擎，允许用户将他们喜欢的数据.
2021-06-15 14:52:32
2120
1
原创 Redis学习记录（一）之Redis的简介及安装使用
Redis学习记录（一）之Redis的简介及安装使用Redis作为NoSql较为流行使用的数据库之一，个人觉得还是有必要系统学习一下滴。文章目录Redis学习记录（一）之Redis的简介及安装使用一、Redis简介1.1 是什么1.2 能干嘛二 、下载安装2.1 下载2.2 安装三、使用3.1 基本使用一、Redis简介1.1 是什么Redis:REmote DIctionary S...
2020-03-24 17:32:44
164
原创 美团设计模式在外卖营销业务中的实践-学习笔记（一）
美团设计模式在外卖营销业务中的实践-学习笔记（一）文章目录美团设计模式在外卖营销业务中的实践-学习笔记（一）一、设计模式原则二、设计模式在美团外卖营销业务中的具体案例2.1、工厂模式和策略模式2.1.1 业务简介2.1.2 返奖规则与设计模式**业务建模****模式：工厂模式****模式：策略模式****工程实践：**2.1.3 返奖流程与设计模式实践**业务建模****工程实践****模式：策...
2020-03-23 17:31:34
778
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人