MapReduce
程序猿渣渣帅
技术、生活、观点、个人成长。 主要关注互联网电商广告业务、数据分析方法论、大数据分析平台建设;java web、分布式、大数据处理以及可视化等相关技术。
展开
-
Hadoop2.7运行自带的wordcount
目录1、准备数据文件2、把文件上传到HDFS上3、执行命令4、原理解析1、准备数据文件word1.txt i love the worldword2.txt i love the world , hello ni hao2、把文件上传到HDFS上hadoop fs -mkdir /input hadoop fs -put word1.txt /input...原创 2018-09-09 21:32:10 · 2835 阅读 · 0 评论 -
MapReduce自己编写Wordcount程序
1、准备数据文件,并且上传到HDFS上,路径/input/wordcount.txtwordcount.txtHello HadoopHello BigDataHello SparkHello FlumeHello Kafka 2、编写Wordcount代码这里用户可以输入三个参数,分别为应用的名称、数据文件的路径、结果的输出路径package ls.wordc...原创 2018-09-09 23:07:06 · 3830 阅读 · 0 评论 -
MapReduce统计文本单词,逆序输出统计结果
1、准备数据wordcount2.txtThey say we are what we areBut we do not have to beI am bad behavior but I do it in the best wayI will be the watcherOf the eternal flameI will be the guard dogof all y...原创 2018-09-09 23:48:56 · 1982 阅读 · 2 评论 -
Hadoop权威指南---MapReduce应用开发
目录1、打包作业 2、 启动作业 3、 MapReduce的Web界面 3.1、资源管理器界面3.2、MapReduce作业界面4、Hadoop日志 6、 远程调试 7、作业调优8、MapReduce的工作流 8.1、 将问题分解成MapReduce作业 8.2、 关于JobControl 8.3 、关于Apache Oozie 1、打包作业...原创 2018-09-21 01:05:04 · 356 阅读 · 0 评论 -
Hadoop权威指南---MapReduce的类型与格式
目录1、MapReduce的类型简介2、 输入格式 2.1、输入分片与记录 1)、FileInputFormat类2)、FileInputFormat类的输入路径3)、FileInputFormat类的输入分片4)、小文件和combineFileInputFormat5)、避免切分6)、mapper中的文件信息7)、把整个文件当成一条记录处理2.2、文本...原创 2018-09-23 12:01:24 · 291 阅读 · 0 评论 -
MapReduce输出自定义序列化对象以及自定义分区Partitioner实现map函数的定向输出
目录准备数据文件flowcount.txt一、输出自定义序列化对象1、首先自定义的类需要实现Writable,实现write和readFields方法2、编写MapReduce程序二、自定义分区Partitioner实现map函数的定向输出1、自定义分区需要实现Partitioner接口的getPartition2、编写MapReduce函数准备数据文件flowco...原创 2018-09-18 22:46:59 · 936 阅读 · 0 评论 -
Hadoop权威指南---map和reduce函数使用解析
目录1、数据准备2、 Java MapReduce 2.1、map函数的实现2.2、reduce函数的实现2.3、负责运行MapReduce的代码2.4、运行测试 3、旧的和新的Java MapReduce API几个明显的区别4、数据流和combiner函数 4.1 数据流 4.2 combiner函数 4.3 Hadoop Streaming...原创 2018-09-19 20:52:21 · 12731 阅读 · 0 评论 -
Hadoop权威指南---MapReduce的工作机制
目录1、 剖析MapReduce作业运行机制 1.1、 作业的提交 1.2、 作业的初始化 1.3、 任务的分配 1.4 、任务的执行 1.5、 进度和状态的更新1.6、 作业的完成 2 、失败 2.1、 任务运行失败2.2、 application master运行失败2.3 、节点管理器运行失败 2.4 、资源管理器运行失败 ...原创 2018-09-25 20:27:53 · 698 阅读 · 0 评论