![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop-jar
寒枫__梦
这个作者很懒,什么都没留下…
展开
-
hiveSQL执行,转化为MR过程
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。------ 百度百科hive的库、表等数据操作实际是hdfs系统中的目录和文件,让开发者可以通过sql语句, 像操作关系数据库一样操作文件内容。一直好奇hiveSQL转化为MR过程,好奇hive是如何做到这些的,所以在网上找了原创 2020-05-14 17:04:44 · 5469 阅读 · 0 评论 -
Hadoop集群shuffle机制详解
mapreduce中最重要的就是shuffle机制,只有深刻理解了shuffle机制,才能更好地写出MR程序原创 2017-12-15 15:44:40 · 733 阅读 · 0 评论