- 博客(3)
- 收藏
- 关注
RSS订阅转载 Spark会产生shuffle的算子
Spark会产生shuffle的算子 去重 def distinct() def distinct(numPartitions: Int) 聚合 def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)] def reduceByKey(partitioner: Partitioner, func: (V, V) =...
2019-08-14 10:55:58
701
原创 Linux常用命令大全
Linux常用命令大全 系统信息 arch 显示机器的处理器架构 uname -m 显示机器的处理器架构 uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示CP...
2019-07-31 17:21:10
263
原创 Hadoop YARN的基本组成和工作流程
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 介绍： ①YARN（Yet Another Resource Negotiator） ②通用的资源管...
2019-07-15 09:50:19
354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人