Gldwolf的博客

排查背景最近在生产上部署 UDF 时，遇到一个两个环境完全相同，但是一个客户端报错另一个正常的情况，经过多次调试问题终于得以解决，现将解决思路记录一下，希望能对后来者有所帮助。(生产环境不便于截图。。。暂不展示了，各位脑补一下哈哈哈)场景描述由于两个环境的 CLASSPATH 完全相同，jar 包版本一致，但是有一个客户端报错，另一个客户端不报错，根据显示的报错信息（NullPointerException），初步猜测可能是由于加载的类不正确，导致代码报错,（由于是生产环境，没有远程调试环境，各位见谅

MessageProtocol.scalapackage top.gldwolf.scala.akkademo.sparkmasterandworker.common/** * @author: Gldwolf * @email: ZengqiangZhao@sina.com * @date: 2020/4/17 10:54 *//** * 用于 Work 注册时发送注册信息...

1 ColumnFamily 设计追求的原则是：在合理的范围内能尽量少的减少列簇就尽量减少列簇。最优设计是：将所有相关性很强的 Key-Value 都放在同一个列簇下，这样既能做到查询效率最高，也能保持尽可能少的访问不同的磁盘文件。以用户信息为例，可以将必须的基本信息存放在一个列簇，而一些附加的额外信息可以放在另一个列簇。2 RowKey 设计HBase 中，表会被划分为...

HBase 是一个通过大量廉价机器解决海量数据的调整存储和读取的分布式数据库解决方案HBase 的特点：高并发，易扩展，解决海量数据集的随机实时增删改查HBase 本质依然是 Key-Value 数据库，不支持 join 等复杂操作不支持复杂的事务，只支持行级的事务HBase 中支持的数据类型：byte[] （底层所有数据的存储都是字节数组）主要用来存储结构化和半结构化的松散数据...

1. HBase 底层原理1.1 系统架构1.1.1 Client 职责1. HBase 有两张特殊的表：.META.: 记录了用户所有表拆分出来的 Region 映射信息，.META. 可以有多个 Region-ROOT-(新版中已去掉这一层): 记录了 .META. 表的 Region 信息，-ROOT- 只有一个 Region，无论如何都不会分裂2. Client...

目录1. Redis 基本概念2. Redis 的优势3. Redis 适用场景4. Redis-3.2.6 安装(未整理)与测试5. 使用 Redis 的 Java API 客户端——Jedis6. 数据结构6.1 String -- 字符串6.1.1 String 使用概述6.1.2 String 常用操作6.1.3 String 使用案例6.2 L...

1. What is Apache Flink?Apache Flink 是一款用来进行分布式流数据和批数据处理的开源平台。Apache Flink 是一个对有界数据流和无界数据流进行有状态计算的框架和分布式处理引擎。Flink 被设计用于在所有常见的集群环境中运行，以内存中的速度和任意规模进行计算。重要的概念：进行有界和无界数据的处理所有类型的数据都作为一个事件流被生产出来。信用卡流水，...

1. 什么是 Spark官网：http://spark.apache.orgSpark 是一个快速、通用、可扩展的大数据分析引擎。Spark 是基于内存计算的大数据并行计算框架1.1 Spark 的特点快：与 Hadoop 的 MapReduce 相比，Spark 基于内存的运算要快 100 倍以上，基于硬盘的运算也要快 10 倍以上。Spark 实现了高效的 DAG 执行引擎，可以通过...

一、Leader 的工作流程Leader 的主要功能有三个：恢复数据维持与 Learner（Follower 和 Observer） 的心跳，接收 Learner 的请求并判断 Learner 的请求消息类型Learner 的消息类型：PING 消息：Leaner 的心跳信息REQUEST 消息：Follower 发送的提议信息，包括读写请求ACK 消息：Follower 对提...

1. Log4j 简介Log4j 有三个主要的组件：Loggers（记录器）：日志类别和级别Appenders（输出源）：日志要输出的地方Layouts（布局）：日志以何种形式输出1.1 LoggersLoggers 组件在此系统中被分为五个级别：（输出信息的重要程度依次递增）DEBUGINFOWARNERRORFATAL1.2 AppendersLog4j 日志系统...