- 博客(2)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 实现自定义Spark优化规则
文章目录Catalyst optimizer实战编写一个优化规则编写优化规则注册优化规则测试结果添加钩子和扩展点功能编写自定义优化规则和扩展点配置并启用自定义Spark扩展测试优化规则参考文档Catalyst optimizerSpark SQL 使用一个叫 catalyst 的优化器对所有使用 spark sql 和 dataframe dsl的查询进行优化。经过优化的查询会比使用RDD直接...
2020-03-04 02:09:41
2503
2
原创 Spark 本地程序启动缓慢问题排查
今天测试spark 本地任务的时候，发现程序每次启动的时候都要等好久，才能开始正常进入启动程序，严重干扰了Debug的节奏。那就开始把～～加上Yourkit的启动参数，其中 tracing 参数表示启动的时候就开始进行 tracing 级别的CPU profiling，其他几种 profiling级别可以根据需要调整。spark.driver.extraJavaOptions -agen...
2020-03-04 00:56:18
1135
Java做的文本编辑器
基本上都是自己写的，课程设计得了优！程序整体的风格清晰明朗！分享下，大家共同学习参考吧！
程序在Myeclipse中完成，最好在该软件中直接导入工程即可！
2009-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人