mapreduce
关注
分享
扫一扫
一个喜欢写 代码的小龙龙
喜欢写代码的小龙龙
展开
-
Mapreduce做奇偶行相加
后天比赛了 今天研究了一下mapreduce做奇偶行相加。回想自己学了一个多月的Mapreduce，也算是学有所获，希望后天的考试给自己交一份完美的答卷首先准备前置知识：RecordReader抽象类的作用是根据给定的InputSplit 创建键/值对.InputSplit是面向 字节的Split视图，而RecordReader能够解析InputSplit并使其k可以被Mapper处理。...原创 2019-11-07 21:20:47 · 206 阅读 · 0 评论 -
MapReduce做key降序排序
由于mapreduce能对key进行排序，所以我们想要的数据可以利用这一点进行排序。完整代码package com.招聘;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apach...原创 2019-11-04 20:50:58 · 976 阅读 · 0 评论 -
Mapreduce做中位数和标准差
利用Mapreduece做中位数和标准差先定义一个自定义的值类型，实现Writable接口然后去存储数据话不多说 附上代码：package com.standard1;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IO...原创 2019-11-01 19:13:16 · 1006 阅读 · 0 评论 -
交通运输Mapreduce
map：package com.traffic;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop....原创 2019-10-31 10:39:32 · 228 阅读 · 0 评论 -
交通运输mapreduce做最大值最小值。
map代码：package com.traffic;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class MyTraffic...原创 2019-10-29 15:25:15 · 192 阅读 · 0 评论 -
mapreduce实现二次排序
最近几天在准备mapreduce。然后试着写了一个mapreduce程序。来实现二次排序 。话不多说，我们先 自定义一个键类型。切记键类型实现WritableComparable。接口，然后重写toString,writable,readfield.先附上已经写好的代码：package com.soft;import org.apache.hadoop.examples.Secondar...原创 2019-10-28 21:47:06 · 307 阅读 · 0 评论 -
把jar包丢到mapreduce中出现的问题
## 问题一idea所安装的jdk版本必须和集群所安装的一样。问题二如果出现这个问题，那么可能是你jar包打错， 也可能是集群需要不加依赖的jar。建议 用一下方法打jar记得勾选这个 应该就可以运行了。下面附上我运行结果图...原创 2019-10-24 15:25:08 · 211 阅读 · 0 评论 -
Mapreduce实现手机流量计数
Mapreduce实现手机流量计数原始数据：1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 ty 12 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 hb 5 0 264 0 200136315799...原创 2019-10-18 18:14:41 · 286 阅读 · 0 评论 -
mapreduce一种方法做单词计数
这种方法是利用Java StringTokenizer方法切割package com.WorldCount;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop....原创 2019-10-18 12:05:14 · 150 阅读 · 0 评论 -
mapreduce做单词计数
首先数据格式是这样的：Hello BigDataHello HadoopHello HDFSBigDataHadoopHadoopMapReducePerfect请注意 这个文本文件中有空行 所以在分隔的时候会有空值 我们要做的是在map阶段将空值去掉，以便于更精确的输出结果。具体操作我已经在源代码里贴出。package com.WorldCount;import jav...原创 2019-10-18 11:23:02 · 199 阅读 · 0 评论 -
mapreduce reduce做join操作
鼓捣了两天的mapreduce join操作。觉得收获很大所以写了三篇博客。然后的话在网上找的资料都是有瑕疵的 不能运行的代码。 然后我这边 的代码都是经过测试的。不过还是要感谢 网上的大佬分享资料 。orders.txt：1001,20170710,p0001,11002,20170710,p0001,31003,20170710,p0001,31004,20170710,p0002...原创 2019-10-15 09:18:49 · 126 阅读 · 0 评论 -
mapreduce join操作
利用mapreduce做join操作：在mapreduce中我们经常用到两张表合成一张的情况，这样的话就要用到join。比如现在有两个表：orders.txt：1001,20170710,p0001,11002,20170710,p0001,31003,20170710,p0001,31004,20170710,p0002,1products.txt：p0001,xiaomi,0...原创 2019-10-15 09:06:38 · 144 阅读 · 0 评论 -
Map阶段join
这几天学习Mapreduce的时候感觉自己的java基础有点薄弱。然后的话，我希望可以通过自己的博客帮助更多跟我一样的初学者。首先如果是大表和小表相连的话，个人建议使用map端的join操作。这样可以更快速方便的解决问题。话不多说，附上代码块package com.lmz;import org.apache.commons.io.FileUtils;import org.apache.h...原创 2019-10-14 15:40:08 · 203 阅读 · 0 评论 -
mapreduce
pom.xml添加依赖：<groupId>Jsq</groupId><artifactId>jsq</artifactId><version>1.0-SNAPSHOT</version> org.apache.hadoop hadoop-client...原创 2019-10-08 22:03:02 · 113 阅读 · 0 评论 -
mapreduce实现访问日期统计访问次数
话不多说下面先附上开始的pom.xml文件：org.apache.hadoophadoop-client2.7.4 <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core --> <dependency> <groupId>...原创 2019-10-10 10:47:02 · 2309 阅读 · 0 评论 -
MapReduce流量排序
mapreduce流量访问排序话不多说 直接上代码块package com.sxzy;import java.io.File;import java.io.IOException;import java.util.ArrayList;import com.google.gson.internal.$Gson$Preconditions;import org.apache.commo...原创 2019-10-10 15:32:17 · 157 阅读 · 0 评论 -
流量求和
利用Mapreduce做流量求和pom.xml:<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> ...原创 2019-10-10 16:01:39 · 153 阅读 · 0 评论 -
Mapreduce 统计各科成绩最高分
我的真正意义上 第一个 Mapreduce程序首先，自己接触mapreduce的时间也不长。是 个真正意义上 的小白。今天通过自己钻研。终于写出了自己的第一个mapreduce程序。心里还是有点小激动的，话不多说，附上源代码package com.sxzy;import org.apache.hadoop.io.*;import org.apache.hadoop.mapreduce.Ma...原创 2019-10-10 17:39:54 · 2555 阅读 · 0 评论 -
Mapreduce统计月份天气气温
话不多说 先附上 源代码：import java.io.File;import java.io.IOException;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache....原创 2019-10-11 18:17:44 · 993 阅读 · 0 评论 -
我的第一个mapreduce程序
map类：import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;import...原创 2019-10-05 11:59:18 · 111 阅读 · 0 评论