- 博客(12)
- 收藏
- 关注
RSS订阅原创 hadoop datanode没有启动
datanode启动不了即执行命令$ bin/hadoop namenode -format 后 默认地址tmp/hadoop-1/dfs/data/current/VERSION namenod 和datanode 的clusterid不一样 把namendoe的clusterid复制到各个datanode下重新start-all.sh即可。...
2018-11-24 14:30:41
194
原创 MR 从 mysql中 读取 和 写入 数据
1.编写DBWritable类public class MYDBWritable implements DBWritable, Writable {private int id;public int getId() { return id;}public void setId(int id) { this.id = id;}public String getTx...
2018-11-15 16:04:47
882
转载 jdbc 连接数据库出现serverTimezone问题
转自 https://my.oschina.net/gef/blog/712383在String url=“jdbc:mysql://localhost:3306/big3”; //?serverTimezone=UTC出现报错java.sql.SQLException: The server time zone value ‘Öйú±ê׼ʱ¼ä’ is unrecognized ...
2018-11-13 18:19:54
6432
原创 二次排序中 map prtitioner combokey.comparetor（组合排序对比函数） reduce 和分组管理器（GroupComparetor）的运行先后顺序
二次排序中 map prtitioner combokey.comparetor（组合排序对比函数） reduce 和分组管理器（GroupComparetor）的运行先后顺序文件为txt文本 内容为年份 和温度 如1997 50由上图可知map端运行先后顺序是map先读取一行的文本 然后切割处理 之后调用自定义分区类（partitioner）进行分区 然后读取下...
2018-11-11 22:03:14
481
原创 hadoop MR 二次排序
二次排序例如这样一组气温数据年份 温度2006 -202006 212007 552007 162007 33经过reduce处理年份会自动排序 但是如果要对年份和气温分别排序那就需要二次排序了 例如年份升序对气温降序2006 212006 -202007 552007 332007 161.自定义combokey（组合key）类 因为在reduce中只对key排...
2018-11-11 19:21:36
452
原创 关于wordcount 和sequencefile map输入k v不同问题
sequencefile文件的map输入public class mapper extends Mapper <IntWritable, IntWritable,IntWritable, IntWritable>{ protected void map(IntWritable key,IntWritable value, Context context) throws IOE...
2018-11-09 11:08:55
180
原创 MR 使用自带TotalOrderPartitioner类进行全排序的时候输出的out文件没有东西
主要是因为job设置没有设置好先后顺序Configuration conf = new Configuration();Job job = Job.getInstance(conf); job.setJobName(&quot;app&quot;); job.setJarByClass(app.class); job.setInputFormatClass(SequenceFileInpu...
2018-11-09 10:12:55
270
原创 mr combiner（map端类似reduce） 和partitioner（map端分区操作）运行先后顺序
public class partitioner extends Partitioner&amp;lt;Text, IntWritable&amp;gt; {@Overridepublic int getPartition(Text text, IntWritable intWritable, int i) {System.out.println(“mypartitioner”); // 打印分...
2018-11-07 21:51:52
392
原创 org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/
org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;报错因为windous系统环境变量与编译器里的hadoop jar包版本不一致就会出现上述报错 只需导入相同版本jar包即可...
2018-11-06 22:23:17
4151
1
转载 java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are un
在本地跑mr的时候出现java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.错误 原因是没配windoushadoop环境变量 下个hadoop解压到本地配一下环境变量即可 以及hadoop.dll和winutils.exe ...
2018-11-01 10:36:00
8528
原创 hadoop 无法打开50070
hadoop无法打开http://localhost:50070/50070端口已经改为9870打开http://localhost:9870/就好了
2018-10-29 15:57:47
3342
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人