hadoop
文章平均质量分 64
MrZhengYuhui
中国杭州---优秀的软件工程师
展开
-
HADOOP 日志聚集和ResourceManager日志
Application在yarn上跑时 会分成ResourceMangager日志和 NodeManger(Container)日志在yarn上跑,在启动yarn或者hadoop后不要删除日志文件,否则日志无法写入日志文件在没有设置日志聚集的时候ResourceManger日志在Master机子上,文件为yarn-{User}-resourcemanager-Master.log在sl...原创 2018-08-21 13:10:52 · 3425 阅读 · 0 评论 -
SPARK RDD倒底是一个什么东西
原创 2019-01-09 11:16:02 · 100 阅读 · 0 评论 -
SparkStream实践 ,Partition打印length时的误区
val stream = KafkaUtils.createDirectStream[String, String](ssc, PreferConsistent, Subscribe[String, String](topic, kafkaParam))stream.foreachRDD(rdd => { rdd.foreachPartition(partitionOfRecords...原创 2019-04-19 10:54:02 · 227 阅读 · 0 评论