- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark 程序配置日志级别 通过log4j
spark 如何配置日志打印级别 Log4j.properties文件1、spark自身的打印级别首先明白如何设置spark本身的日志级别Edit yourconf/log4j.propertiesfile and change the following line:log4j.rootCategory=INFO, consoletolog4j.rootCateg...
2019-11-11 11:10:59
1262
原创 Kafka Streams 一些问题总结 以及消费者一些问题汇总
1、streams api 的疑惑1、释疑 kafka streams api和普通 consumer producer区别https://stackoverflow.com/questions/44014975/kafka-consumer-api-vs-streams-api2、kafka streams foreach操作如何进行数据库读写3、kafka streams...
2019-11-06 18:23:29
2181
原创 Spark 性能调优 从配置 以及代码层面 综合调优
前言调优之前调优大致方向1 Indirect Performance Enhancements 间接1 Design Choices1 Scala Versus Java Versus Python Versus R2 DataFrame Versus SQL versus Datasets versus RDDS2 Object Serialization in...
2019-11-06 15:07:22
581
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人