一角残叶的博客

1 MapReduce 介绍Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；1.1 使用 MapReduce 原因海量数据在单机上处理因为硬件资源限制，无法胜任；而一旦将单机版程序扩展到集...

1 集群模式将mapreduce程序提交给yarn集群resourcemanager，分发到很多的节点上并发执行；处理的数据和输出结果应该位于hdfs文件系统；提交集群的实现步骤：（1）将程序打成JAR包，然后在集群的任意一个节点上用hadoop命令启动；（2）直接在linux的eclipse中运行main方法（项目中要带参数：mapreduce.framework.name=yarn以...

1 本地运行模式mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上实现本地运行？不要带集群的配置文件（本质是mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数）本地模式非常便于进行业务逻辑的d...

1 在流量统计（1）的基础上将统计结果按照总流量倒序排序package flowsumsort;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;import...

1

1 待统计的文本flow.log1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197....

1 待处理的数据194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/rstudio-git3.png HTTP/1.1" 304 0 "-" "Mozilla/4.0 (compatible;)"183.49.46.228 - - [18/Sep/2013:06:49:23 +0...

1 数据冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的）。求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F...

1 待统计的文本数据2 源码package InverseIndex;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWri...

1 订单、产品信息表

1