Hadoop上的Data Locality是指数据与Mapper任务运行时数据的距离接近程度(Data Locality in Hadoop refers to the“proximity” of the data with respect to the Mapper tasks working on the data.)
[Hadoop]Hadoop上Data Locality
最新推荐文章于 2021-12-14 22:32:26 发布
本文探讨了Hadoop中的Data Locality重要性,包括为何提高数据本地性以避免网络阻塞,如何定义数据临近性,以及数据本地、机架本地和不同机架情况下的数据处理策略。JobTracker或ApplicationMaster会根据数据位置选择Mapper执行节点,以最大程度地减少数据移动,提高效率。
摘要由CSDN通过智能技术生成