- 博客(5)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 《Presto在中通的优化实践》
本文介绍了中通快递使用Presto相关的源码改造、性能调优以及监控告警等工具开发，相信会对业内公司提供一定的参考意义。
2024-09-09 09:57:00
280
原创 Fire框架--一行代码实现Flink与Kafka集成
如何通过fire框架实现flink一行代码集成kafka，如何实现同一个spark任务消费多个kafka，本文将给你一个满意的技术方案！
2022-07-13 18:18:13
973
1
原创 Fire框架--一行代码实现Spark与Kafka集成
如何通过fire框架实现spark一行代码集成kafka，如何实现同一个spark任务消费多个kafka，本文将给你一个满意的技术方案！
2022-07-13 18:16:54
272
原创 Fire框架--Spark读写Hbase
如何通过一行代码实现spark对Hbase的读写操作？本文演示基于fire框架快速实现spark与Hbase的集成
2022-07-13 07:15:21
1649
Spark与Spark SQL调优指南
Apache Spark被业内广泛应用于离线与实时计算，如何对Spark进行参数调优会严重影响线上任务的执行性能。通过本调优指南的学习，会让你对Spark的调优技能迈上一个新台阶！
2024-09-09
一文搞定Yarn kill spark或flink container的原因
Spark 或 Flink on yarn任务总是会莫名其妙的kill掉container，其实这不是oom，而是触发了yarn对container内存限定的阈值。本文将深度分析yarn kill container的底层原理，以及如何去通过参数调优避免被yarn kill导致的任务不稳定问题。
2024-09-09
一文搞懂Spark container被yarn kill的原因.docx
生产环境中Spark On Yarn任务总是会莫名其妙的被Yarn给kill掉，导致task重跑甚至整个spark任务失败掉。本文将从原理讲解Yarn为什么会kill spark的container，以及如何优化jvm参数来提升spark executor的稳定性。
2024-09-09
Apache Paimon数据湖中文教程
Apache Paimon，作为新一代的数据湖技术，正迅速获得众多企业的青睐与采用。Paimon对比Apache Hudi，有一定的性能优势，同时运维成本也会显著降低。该文档重点阐述了以下几个方面的内容：
1. 如何实现Paimon与主流计算引擎的集成，包括Flink、Spark、Hive以及Trino等
2. Apache Paimon的底层原理
3. Apache Paimon的参数调优
4. Apache Paimon的性能调优与故障处理
相信通过本教程的学习，一定会对paimon有着比较深的了解，为线上使用数据湖甚至是湖仓一体打下扎实的基础。
2024-09-09
求助：vmware中两台linux无法相互通信
2016-05-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人