hadoop
BlackEyes_SY
在不被人注意的角落里起飞
展开
-
hadoop fs 命令详情
1 hadoop fs -ls <path>列出指定目录下的子目录,支持pattern匹配(例:hadoop fs -ls hdfs://ns19/user/ma/usr/shgua*)。2 hadoop fs -lsr <path>递归列出该路径下所有子目录信息3 hadoop fs -du<path>显示目录中所有文件大小,或...原创 2020-03-05 15:13:37 · 7037 阅读 · 0 评论 -
Spark优化
Transformations 是 RDD 的基本转换操作,主要方法有: map, filter, flatMap, mapPartitions, mapPartitionsWithIndex, sample, union, intersection, distinct, groupByKey, reduceByKey, aggregateByKey, sortByKey, join, cogro...原创 2019-04-10 10:26:48 · 219 阅读 · 0 评论