mapreduce
文章平均质量分 63
GrowthDiary007
我一名在校大学生,也是一名程序员,热爱学习,热爱编程,热爱分享。
展开
-
Hadoop 之 数据去重(星星笔记)
1.问题描述输入文件file1:原创 2014-09-19 21:41:28 · 2144 阅读 · 0 评论 -
Hadoop 之 Wordcount 单词计数 (学习笔记)
自从学习了hadoop之后,现在想想还没有在原创 2014-09-09 07:14:02 · 1251 阅读 · 0 评论 -
Hadoop 之 Sort 排序 (星星笔记)
自从学习了hadoop之后,现在想想还没有怎么整理过自己写过的代码和读过的代码,今天就做一个整理吧,纪念一下。Sort (单词计数)程序 就像我们刚刚开始学习程序一样,写一个 helloworld程序一样。原创 2014-09-11 17:07:39 · 1507 阅读 · 0 评论 -
Hadoop学习之mapreduce:Shuffle 过程笔记
不少关于Hadoop的书籍都提到过, Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的(《Hadoop云计算实战》)。查看过很多书籍,介绍的或多或少有一些差异,我想这是作者外文翻译的原因,例如 Spill 有的翻译成 “溢写”有的翻译为“分割”(本人认为“溢写”比较好)。对于shuffle的逻辑,看的多了反而越混。所以原创 2014-09-01 17:35:34 · 1263 阅读 · 1 评论 -
Hive 表常用查询语句-总结
hive之前不常用,每次都是现用现查,现在总结记下笔记,边学边记>_<。现在假设有数据库 db,数据表table1,table2,(1)查看表的创建信息:show create table db.table1;(2)查看表的分区信息:show partitions db.table1;(3)查看表的记录数:select count(*) from db.table1 ...原创 2019-03-21 13:28:33 · 8316 阅读 · 1 评论