![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapreduce
山顶看数据
这个作者很懒,什么都没留下…
展开
-
hadoop——hive(认识hive)
hadoop——hive(认识hive)1、什么是hiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。hive的本质其实就是将HQL转化成MapReduce 程序Hive 处理的数据存储在 HDFSHive 分析数据底层的实现是 MapReduce执行程序运行在 Yarn[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-原创 2021-09-23 22:10:13 · 898 阅读 · 0 评论 -
mapreduce——outputformat案例
mapreduce——outputformat案例import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.had原创 2021-09-23 20:11:39 · 80 阅读 · 0 评论 -
mapreduce实现在本机上测试
mapreduce实现在本机上测试public static class LogDriver extends ToolRunner implements Tool { private Configuration configuration; @Override public int run(String[] strings) throws Exception { Configuration conf = getConf(); Job job = J原创 2021-09-23 20:04:15 · 117 阅读 · 0 评论 -
Join中数据倾斜问题解决
Join中数据倾斜问题解决问题描述:就是在一个reducer任务中累加的数量过大,而在另一个reducer任务累加的数量较少,这样就造成了数据倾斜[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F2hcOloM-1632316508589)(/Users/lifuwei/Library/Application Support/typora-user-images/image-20210918215036327.png)][外链图片转存失败,源站可能有防盗链机制,建议将图原创 2021-09-22 21:15:31 · 645 阅读 · 0 评论 -
mapreduce日志信息数据处理
mapreduce日志信息数据处理import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Tex原创 2021-09-22 21:11:42 · 284 阅读 · 0 评论 -
对时间进行格式化处理SimpleDateFormat
对时间进行格式化处理原来时间:[20/Aug/2018:10:44:15 +0800] 现在时间:2018-08-20//对日期格式进行转化public static String parseDate(String date){ //在日期进行转化时,我们需要注意的是在英文中月是用MMM表示的,而中文使用MM表示的,日志一般都是英文的 //而Locale是表示地区的,在这里是US //对原来时间进行解析 SimpleDateFormat fmt = new Simp原创 2021-09-22 21:08:57 · 235 阅读 · 0 评论 -
mapreduce温度统计
mapreduce温度统计 /** * 2021091732.6 * 2021091733.1 * 2021091730.2 * 2021091636.6 * 2021091622.6 * 2021091542.2 * 2021091512.1 * 2021091422.0 * 2021091432.6 */import o原创 2021-09-21 19:18:46 · 153 阅读 · 0 评论 -
mapreduce对类的实例化——流量统计
mapreduce对类的实例化——流量统计import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;public class FlowBean implements Writable { long upflow; long downflow; long sumflow; //这里之所以会这样原创 2021-09-21 19:13:21 · 129 阅读 · 0 评论