Missing dependency ‘object scala.native in compiler mirror‘ 编译seatunnel时，遇到一些问题：error: error while loading Object, Missing dependency 'object scala.native in compiler mirror', required by /modules/java.base/java/lang/Object.class
kafka限流导致spark写异常 最近上线一个业务，大量数据从hive加工后，写入kaka。规模：200+任务spark任务并发数量：30每个spark任务vocres：20运行一段时间后，抛出异常。
mac上redis启动问题 问题描述在mac上启动redis后，没有错误提示，但连接不上(base) C02FRH0XMD6M:work haiping.lai$ brew services start redis==> Tapping homebrew/servicesCloning into '/usr/local/Homebrew/Library/Taps/homebrew/homebrew-services'...remote: Enumerating objects: 1863, done.remo.
解决matplotlib中文显示异常问题 1. 执行命令，获取matplotlibrc文件路径import matplotlibprint(matplotlib.matplotlib_fname())如下/Users/haiping.lai/miniconda3/lib/python3.9/site-packages/matplotlib/mpl-data/matplotlibrc2. 修改matplotlibrcfont.family: sans-seriffont.sans-serif: SimHei,.
启动jupyter 问题现象(base) [xxx@ip-10-169-49-131 sztoc_audiencemanager]$ jupyter notebook --no-browser --port=1234The Jupyter HTML Notebook.这将启动一个基于tornado的HTML笔记本服务器，它提供一个html5/javascript笔记本客户端。Traceback (most recent call last): File "/usr/share/miniconda2/env.
死信队列、重试队列、延迟队列、回退队列 1. 死信队列当一条消息初次消费失败，消息队列会自动进行消息重试；达到最大重试次数后，消息队列不会立刻将消息丢弃，而是将其发送到该消费者对应的特殊队列中，这种正常情况下无法被消费的消息称为死信消息（Dead-Letter Message），存储死信消息的特殊队列称为死信队列（Dead-Letter Queue）。2. 重试队列重试队列其实可以看成是一种回退队列，具体指消费端消费消息失败时，为防止消息无故丢失而重新将消息回滚到Broker中。与回退队列不同的是重试队列一般分成多个重试等级，每个重试
Spark 3.0自适应查询执行框架(AQE) 1. AQE设计原理AQE 可以理解成是 Spark Catalyst 之上的一层，它可以在运行时修改 Spark plan。AQE 完全基于精确的运行时统计信息进行优化，引入了 Query Stages 的概念 ，并且以 Query Stage 为粒度，进行运行时的优化，其工作原理如下所示：Query Stage 是由 Shuffle 或 broadcast exchange 划分的，在运行下一个 Query Stage 之前，上一个 ...
LSM Tree 1. 典型LSM Tree架构图2. LSM Tree特点LSM树的特点是利用顺序写来提高写性能，因为内存结构和磁盘文件的分层设计会降低读性能，但是通过牺牲小部分读性能换来提供写性能，使得LSM树成为非常流行的一种存储结构。与传统的基于 B 树的实现相比，LSM 提供高写入吞吐量的主要原因是每个写入请求实际上仅在内存中执行，而基于B树的更新在磁盘上完成，这可以触发对索引的更新，但非常昂贵。3. LSM组成部分3.1 WAL WAL用...
zookeeper提示包太大问题 现象描述beeline访问zookeeper报错beeline报错(base) -bash-4.2$ ./beeline -u 'jdbc:hive2://10.169.49.131:2181/default?spark.yarn.queue=szopam-test;username=leon'Connecting to jdbc:hive2://10.169.49.131:2181/default?spark.yarn.queue=szopam-test;username=leon21/1
hive编译问题 问题1异常信息Failed to collect dependencies at net.shibboleth.tool:xmlsectool.jar:2.0.0解决方法从官网下载xmlsectool.jar包到本地：https://build.shibboleth.net/nexus/content/groups/public/net/shibboleth/tool/xmlsectool/2.0.0/q然后执行手动安装mvn in.
查看hive表对应的hdfs文件路径 1. 一般情形 一般情形，spark-sql执行show create table xxx.xxx命令，就可以看到hdfs路径：LOCATIONshow create table xxx.xxx;2. 特殊情形有些情况，比如spark用saveAsTable方法创建的表，一般情形不适合，查不到hive表对应的hdfs路径。spark-sql> show create table default.leon_hive_table;CREATE TA...
关注
