hadoop
噢泡果奶
每天进步一点点呀!
展开
-
安装hadoop集群常见错误解决方案
前言:真的是很难受,安装成功一个hadoop集群费了我好长的时间,接下来把我在安装过程中踩坑及填坑的经验分享给大家。1.master(namenote)启动hadoop成功执行hadoop dfsadmin -report空间显示为0正常显示应该如下:解决:1.在各slave(DataNote)执行jsp命令查看DataNode进程是否启动成功,若回显结果为没有显示则说明D...原创 2019-03-21 10:31:13 · 614 阅读 · 0 评论 -
MapReduce编程之倒排索引
要求:package com.wqs.invertedIndex;import java.util.StringTokenizer;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;imp...原创 2019-04-21 15:42:35 · 213 阅读 · 0 评论 -
MapReduce编程之自定义序列化类及自定义排序
数据://姓名 收入 支出 时间zhangsan 6000 0 2016-05-01lisi 2000 0 2016-05-01lisi 0 100 2016-05-01zhangsan 3000 0 2016-05-01wangwu 9000 0 2016-05-01wangwu 0 200 2016-05-01zhangsan 200 400 2016-05-01需求...原创 2019-05-04 17:04:46 · 1477 阅读 · 2 评论 -
更新:MapReduce编程之自定义序列化类及自定义排序2
更新版的主要是解决上一篇文章里面比较不合理的地方上一篇文章中在Reduce类里面重写了cleanup方法用于进行第二次排序,虽然可以实现要求,但是比较不科学在本文章中将分两个两个MapReduce任务来执行。补充概念:在Hadoop中,每个MapReduce任务都被初始化为一个job,每个job又可分为两个阶段:map阶段和reduce阶段。这两个阶段分别用两个函数来表示。Map函数接...原创 2019-05-06 13:29:40 · 392 阅读 · 2 评论