hdfs
王文友
这个作者很懒,什么都没留下…
展开
-
hdfs文件的读取1 (在eclipse中console输出)
hdfs文件的读取 (在eclipse中console输出)package com.qf.a.b;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs....原创 2019-08-13 18:21:17 · 466 阅读 · 0 评论 -
解决eclipse中无法执行向hadoop上传文件问题
解决eclipse中无法执行向hadoop上传文件问题main…的问题Permission denied: user=zhuy, access=WRITE, inode="/user":root:supergroup:drwxr-xr-x从这句话我们可知道是权限问题所以要修改权限在 hdfs-site.xml加入如下代码 (每台都要修改) <property&g...原创 2019-08-16 18:23:42 · 609 阅读 · 0 评论 -
统计乘用车辆,商用车辆的数量销售和销售额分布
统计乘用车辆,商用车辆的数量销售和销售额分布/*** 根据汽车所属(个人,商用)来进行划分* 计算乘用车辆,商用车辆各自的数量,以及各自所占的比重*/public static class CountMap extends Mapper<LongWritable, Text, Text, LongWritable>{ @Override public void map(L...原创 2019-08-16 18:21:59 · 1974 阅读 · 0 评论 -
求平均数以及数据清洗
求平均数以及数据清洗package hadoop;//每个人平均花多少钱//并且对数据进行清洗/**数据样式:姓名,日期,金额,三个字段数据:张三,20198-1,30张三,20198-2,30李四,20198-1,30李四,20198-2, —日期位置是空格 --在空格位置填0,不会影响数据李四,20198-3,, —日期位置是逗号李四,...原创 2019-08-16 18:20:46 · 249 阅读 · 0 评论 -
求和
求和package hadoop;//每个人花多少钱import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hado...原创 2019-08-15 17:39:01 · 77 阅读 · 0 评论 -
数据排序
数据排序public static class Map extends Mapper<Object, Text, IntWritable, IntWritable>{//map将输入中的value转化成IntWritable类型,作为输出的keyprivate static IntWritable data = new IntWritable();//实现map函数publi...原创 2019-08-15 17:36:41 · 125 阅读 · 0 评论 -
数据去重
数据去重public static class Map extends Mapper<Object, Text, Text, Text>{//map将输入中的value复制到输出数据的key上,并直接输出private static Text line = new Text(); public void map(Object key,Text value,Context con...原创 2019-08-15 17:32:24 · 257 阅读 · 0 评论 -
单词计数wordcount全部代码
package hadoop;//单词计数wordcount全部代码import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apac...原创 2019-08-14 17:01:11 · 398 阅读 · 0 评论 -
运行自己写的wordcount程序
运行自己写的wordcount程序1.将生成的jar文件用xfpt上传到namenode节点,我上传的路径是/opt/hadoop/share/hadoop/mapreduce2.在/input文件中上传数据 (//opt/hadoop/file 对应 /input 为同级目录 /input下 /file1.txt不可存在 才能上传成功)hadoop dfs -put /op...原创 2019-08-14 16:58:30 · 329 阅读 · 0 评论 -
运行hadoop2.x自带的wordcount
运行hadoop2.x自带的wordcount(1)首先在master虚拟机本地某一个目录下创建一个文件夹file,用来存储将要上传到HDFS的文件我是在/opt/hadoop路径下创建的文件夹filecd /opt/hadoopmkdir file(2)接着进入file文件夹,然后创建一个文本文件file1.txt,并输入内容(路径自己随便写)cd filevi file1.txt...原创 2019-08-14 16:44:40 · 335 阅读 · 0 评论 -
hdfs文件的读取2(在本地磁盘输出 )
hdfs文件的读取 (在eclipse中D:\text\text.txt01输出 其中text01.txt不必创建,自动生成 )package com.qf.a.b;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.OutputStream;i...原创 2019-08-13 18:23:30 · 508 阅读 · 0 评论 -
hadoop中combine优化
hadoop中combine优化1.写法(1)把reduce函数的代码块复制放在map和reduce代码块中间,把复制的代码块类名改为MapReduce_Combine(名字自己随便写)(2)在main中加入job.setCombinerClass(MapReduce_Combine.class);2.优点把数据在map阶段结束后,直接执行combine函数,进行聚合,减少在map和...原创 2019-08-17 16:22:28 · 402 阅读 · 0 评论