![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
reniviD
0 error(s),0 warning(s)
展开
-
Spark重要知识点总结
Spark哪些算子用到shuffle? 去重运算:distinct 聚合运算:reduceByKey、groupByKey、aggregateByKey等 排序运算:sortBy、sortByKey 分区运算:repartition、coalesce 集合运算:交、差、并,即 intersection、subtract、join,leftOuterJoin等 Transformation和Action算子 transformation:由一个RDD运算得到一个新的RDD,惰性运算,不会立即执行 act原创 2020-07-02 11:30:41 · 700 阅读 · 0 评论 -
HDFS 常用shell命令大全
cat命令 // 查看文件所有行的数据 hadoop fs -cat filename // 查看总行数 hadoop fs -cat filename | wc -l // 查看.gz文件 hadoop fs -cat filename | zcat // (按空格)翻页查看 hadoop fs -cat filename | more // 查看从第s行开始的k行数据 hadoop fs -cat filename | tail -n +s | head -n k // 将多个不同位置的文件合原创 2020-06-05 17:35:38 · 540 阅读 · 0 评论