MapReduce
文章平均质量分 58
狮锅艺
如何从菜鸟到大神,你需要好好学习!
展开
-
Hadoop实践(三)---MR作业运行(源码详解)
源码解析MapReduce作业处理过程原创 2017-05-25 15:26:47 · 2100 阅读 · 2 评论 -
Hadoop实践(三)---MapReduce作业运行全貌(YARN)
MapReduce作业运行过程原创 2016-10-02 16:34:39 · 1047 阅读 · 0 评论 -
Hadoop实践(二)---集群和开发环境搭建(Intellij IDEA & Maven 开发Hadoop)
Intellij IDEA Maven 开发 Hadoop MapReduce 程序原创 2017-05-23 10:09:40 · 2580 阅读 · 0 评论 -
Hadoop实践(五)---MR相对SQL的应用
SQL语句有一些常用的方法:SELEECT:从一个包含大量列的数据表中选取出这些列的一个子集WHERE:基于应用在各种列中的值的布尔表达式的结果,筛选数据表中的某行AGGREGATION:根据某些属性的分组结果计算其聚合运算值(如MIN,MAX,SUM,GROUP BY, HAVING)SORTING:对输出数据结按照一定规则排序JOIN:根据不同表中相同的列进行夺标的连接操作原创 2017-07-12 09:16:16 · 541 阅读 · 0 评论 -
测试Hadoop程序
多种Hadoop作业的测试方法原创 2017-07-12 09:57:02 · 755 阅读 · 0 评论 -
Hadoop实践(三)---新旧API对比
新旧API的对比和变化原创 2017-06-26 10:03:45 · 996 阅读 · 0 评论 -
Hadoop实践(三)---MapReduce编程 小技巧
总结一些MapReduce编程中的小技巧原创 2016-09-24 19:57:49 · 993 阅读 · 0 评论 -
Hadoop实践(三)---MapReduce相关编程笔记
MR应用程序编写笔记原创 2016-09-11 08:53:44 · 812 阅读 · 0 评论 -
Hadoop实践(三)---MapReduce中的输入和输出
MapReduce中处理数据输入和输出的过程原创 2017-06-07 15:03:22 · 5158 阅读 · 0 评论 -
Hadoop实践(一)---Hadoop核心组件之MapReduce
Hadoop核心组件之MapReduce详解原创 2017-05-25 10:33:14 · 1390 阅读 · 2 评论 -
Hadoop实践(一)---Hadoop核心组件之YARN
YARN(Yet Another Resource Negotiator)该框架已经不再是一个传统的MapReduce框架,甚至与MapReduce无关,是一个通用的运行时框架,用户可以编写自己的计算框架,在该运行环境中运行。用于自己编写的框架作为客户端的一个lib,在运用提交作业时打包即可。为啥要开发YARN?那么MR存在哪些缺点和不足?经典 MapReduce 的最严重的限制主要关系到可伸缩性、原创 2017-05-25 19:27:15 · 1570 阅读 · 0 评论 -
Hadoop实践(五)---API之HDFS
HDFS是Hadoop主要应用的一个分布式文件系统。Hadoop中有一个综合性的文件系统抽象,它提供了文件系统实现的各类接口,HDFS是这个抽象文件系统的一个实例。原创 2017-07-01 12:12:25 · 720 阅读 · 0 评论 -
Hadoop实践(三)---MapReduce中的Counter
在Hadoop的MapReduce框架中包括6种Counters,每一种包含若干个Counter,分别对Map和Reduce任务进行统计 Tips:图片中是Hadoop2.7.3 Counters 略有更新 注意区分 其实根据字面意思大概就知道这个Counter是干啥的原创 2017-06-21 07:36:19 · 2590 阅读 · 0 评论 -
Hadoop实践(三)---MapReduce框架编程笔记
MapReduce框架通过把计算逻辑转移到数据所在的机器,而不是把数据转移到其能够处理的机器上,从而充利用本地性优势。原创 2016-08-28 15:57:19 · 920 阅读 · 0 评论 -
Hadoop实践(三)---使用HDFS的Java API
HDFS进阶原创 2016-10-07 16:06:36 · 2544 阅读 · 0 评论 -
Hadoop实践(三)---HDFS Java 应用程序示例
Hadoop快速入门HDFS基础知识转载 2017-02-21 21:34:03 · 1514 阅读 · 0 评论 -
Hadoop实践(三)---WordCount示例
Hadoop快速入门MapReduce编程转载 2017-02-22 16:34:10 · 898 阅读 · 0 评论 -
Hadoop实践(三)---Hadoop API 之 ToolRunner
Apache Hadoop Main API原创 2017-03-14 19:01:49 · 895 阅读 · 0 评论 -
Hadoop实践(四)---MR Job卡住的问题
当出现 job 卡住的时候可以这样排查问题原创 2017-03-19 10:55:39 · 2331 阅读 · 0 评论 -
Hadoop实践(四)---在HDFS中合并文件
HDFS进阶原创 2016-10-07 16:11:05 · 5831 阅读 · 0 评论 -
Hadoop实践(四)---Hadoop集群测试(MR样例)
Hadoop 自带示例程序详解原创 2017-03-18 15:29:17 · 3429 阅读 · 0 评论 -
Hadoop实践(三)---高阶MapReduce
在运行作业处理数据集时,这个作业通常可以通过编写基本的MapReduce程序来生成,但有时需要编写更高级的程序来形成多个作业,或者用他们处理多个数据集。Hadoop有几种不同的方式把多个作业协调在一起,按照顺序链接或按照预定义的依赖关系来执行原创 2017-06-29 16:20:32 · 824 阅读 · 0 评论 -
Hadoop实践(三)---Hadoop数据类型
《Hadoop MapReduce实战手册》学习笔记原创 2016-10-08 15:48:09 · 6073 阅读 · 0 评论