hadoop
NBtingwu
专注搜索、推荐相关技术、机器学习,大数据
展开
-
namenode倒换原因分析
一,namenode倒换原因分析 ZKFC做的HA的HADOOP集群,某信升级网络以后,经常在凌晨出现这种会话超时的情况下面是zkfc的日志,初步认为是网络问题引起的,以前的超时时间为5000ms.2015-06-23 11:34:53,393 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Caught an exception, l原创 2015-06-24 12:45:33 · 1877 阅读 · 0 评论 -
hadoop相关问题-stop-all.sh
1,pid 文件丢失问题 如果hadoop不指定pid的文件路径,默认的路径在/tmp下面,linux会定期清理/tmp目录,导致里面的pid文件消息 ./stop-all.sh执行的时候直接从/tmp下面查找pid文件,因为已经被系统删除,便会提示找不到文件。会导致停止集群失败。 这时可以根据系统里面正在运行的hadoop进程相关信息重构一下这些PID文件。即可执行成功原创 2015-06-09 14:52:13 · 919 阅读 · 0 评论 -
Hadoop2.4.1(QJM HA)+HBASE0.98 双MASTER问题分析
一,问题源由参考网上各位同行的博客,基于HADOOP2.4.1(QJM HA)+HBASE0.98(双master)想搭建一个HA集群,方法有很多,到处都是,这就不说了,主要说一下问题解决过程。集群搭建好以后,每次重新启动都会报下面的错误。2016年 01月 11日星期一 16:22:31 CSTStarting master on M-172-16-73-194core file原创 2016-01-12 16:45:22 · 1348 阅读 · 0 评论 -
MapReduce输出压缩格式文件
一,说明 主要举例说明mapreduce如何输出压缩格式的文件,比较简单,直接上代码。二,示例代码 推荐-实时更新逻辑优化,上正式环境 /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the原创 2016-11-04 11:27:27 · 805 阅读 · 0 评论 -
MapReduce输出结果到多个文件
利用MultipleOutputs可以方便的实现将结果按自己的要求输出到不同的文件,方法简单, 1,直接在map或reduce中加入类似如下的代码, 3,用mos.write替换以前的context.write 3,在main中利用MultipleOutputs.addNamedOutput(job, "shortkey", TextOutputFormat.class, Text.class, IntWritable.class);添加输出路径。原创 2016-11-04 15:46:08 · 2904 阅读 · 0 评论 -
mapreduce 的partitioner,GroupComparator,KeyComparator,分布式缓存使用示例
package org.test.CommonDep;/* * 主要功能是针对输入为年份tab温度格式的数据,返回每年的最高汽温 * 1,partitioner分区,将同一年份的数据放一起。key=年份 温度 value=空 * 2,KeyComparator,key比较算法,让数据先按年份升序排序,如果年份相同,按温度降序。 * 3,GroupComparator,同一年份的数据为原创 2016-11-15 14:56:01 · 694 阅读 · 0 评论 -
最大,最小值问题,前K个数问题,利用mapreduce解决方案
1,MapReduce求最大最小值问题 要想一次求得最大最小值,必须只有一个reduce MAP类 (1)Map类中增加两个变量,max,min (2)map函数中用取得的当前行的数据和max,min做比较,更新数据。 (3)clear函数中将max,min输出,输出格式为 <max,n1> <min,n2> Reduce类 (1)直接比较list中的最...原创 2016-11-21 17:40:30 · 1016 阅读 · 0 评论 -
hadoop2.7.3+hbase1.2.5配合起来使用的一个小问题,备注一下
1,问题现象 hadoop2.7.3+hbase1.2.5配置完成,往HBASE导入数据以后,正常运行,重启hbase+hadoop以后出现下面异常。rg.apache.hadoop.util.NativeCrc32.nativeVerifyChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/St原创 2017-05-12 17:14:18 · 450 阅读 · 0 评论