代码练习
reasery
这个作者很懒,什么都没留下…
展开
-
hadoop入门程序,wordcount本地版实现
实验环境javaeewindows步骤:1.先在d盘建一个test文件夹,里面新建一个文本文档随意输入几个单词hello world tom hello mading world mading mading asdfasdfasdfasdfasdf然后保存,再多复制几个这个文件2.单个文件的词频统计代码package mrpro924;import java.io.Buffe...原创 2018-09-24 23:51:57 · 358 阅读 · 0 评论 -
scala的wordcount小实验
//object wordcount1 { def main(args: Array[String]): Unit = { //定义一个数组 val arr = Array("hello xiaoa","hello xiaob","hello xiaoc") //map方法生成新的数组 val arr2 = arr.map(x=>x.split(" ")...原创 2018-10-15 10:01:14 · 317 阅读 · 0 评论 -
mapreduce的多job串联
代码书写package mrpro924;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io...原创 2018-09-28 09:43:34 · 720 阅读 · 0 评论 -
mapreduce的自定义排序
bean类package mrpro927;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.WritableComparable;/* * ...原创 2018-09-28 08:36:56 · 2110 阅读 · 1 评论 -
mapreduce进行数据去重的简单案例
package mrpro927;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Nul...原创 2018-09-27 19:52:38 · 1983 阅读 · 0 评论 -
自定义类bean进行MapReduce参数传输
数据类型:1363157984041 13660577991(手机号) 5C-0E-8B-92-5C-20:CMCC-EASY 120.197.40.4 s19.cnzz.com 站点统计 24 9 6960(上行流量) 690(下行流量) 200需求:求每个手机号的上行,下行流量总和,和总流量,并以bean方式传输,并按照手机号开头三位进行分区统计类:package mrpro92...原创 2018-09-27 15:29:24 · 962 阅读 · 0 评论 -
Combiner组件
combiner发生在map和reduce之间的,用于优化的一个组件,提升mapreduce性能减少shuffle端的数据量,帮reduce分担压力,和reduce逻辑一样适用场景:求和最大值最小值不适用的场景:平均值写法:1.继承reducer类2.重写reduce方法3.在job中指定使用之前的wordcount来进行简单的combiner组件的使用编写com...原创 2018-10-11 15:26:37 · 580 阅读 · 0 评论 -
mapreduce入门案例wordcount
package mrpro924;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Long...原创 2018-09-25 15:06:51 · 341 阅读 · 0 评论 -
hive影评案例作业
hive影评案例作业首先将数据文件上传到hdfs上1.正确建表,导入数据,并且验证新建moives表,需要进行多字节分隔符处理create table moives(MovieID BigInt, Title String, Genres String) row format serde ‘org.apache.hadoop.hive.serde2.RegexSerDe’ with ser...原创 2019-01-22 16:50:41 · 914 阅读 · 0 评论