MapReduce
Org丶bug
尊重原创
展开
-
hadoop命令---job相关
问题描述:运行MapReduce的程序,当使用Ctrl+C结束(非正常结束)时,命令行工具内虽然结束了,但是后台还在运行,可以通过http://master.hadoop:19888/jobhistory/app 在浏览器中查看到是否还在运行,其中master.hadoop为你的主机别名或者输入你的服务器ip,但是只能看到不能操作,需要使用命令行脚本来操作你的MapReduce的job。如下命令原...转载 2018-05-29 22:52:05 · 477 阅读 · 0 评论 -
java中指定位数,不足的在前面补“0”,用于拼接RowKey;以及java中去掉小数点后面多余的“0”;
问题描述:查询Hbase时,使用RowKey查询效率会很高,但有时候在已知RowKey由哪几部分字段组成时,会有拼接字符串为RowKey到hbase查询的场景。但是RowKey设计为每段位固定的长高度,不足的需要补“0”。所以,在java程序中,需要调用函数设置固定位数,并用“0”补足。比如将一位的int“2”,处理成四位的“0002”字符串: public static void main(St...原创 2018-05-29 23:02:48 · 1570 阅读 · 0 评论 -
SolrCloud索引数量少于正确值,并设置自动提提交;Solr的几种提交方式;
场景描述: 在创建SolrCloud的索引时,发现数据量变少了。多次测试发现,每次创建索引都会少一部分,在运行其他创建索引程序时,之前的索引量会达到正确索引量,但是后面的又会少一部分。问题出在MapReduce程序中,有一次提交没有执行。先了解下提交的几种方式:硬提交(hard commit): solrService.commit(true,true,true) 硬提...原创 2018-07-05 22:15:03 · 632 阅读 · 0 评论 -
使用MapReduce创建SolrCloud索引时的异常记录
配置文件字段不符情况:一开始,创建索引报错时,查看日志会发现,提示:“undefined field”这种情况是提交的SolrDocument里有的字段名在配置文件managed-schema中没有事先定义,所以会报这种错;但是最近,在MapReduce运行时,出现如下错误:(ip地址用了“x”替代)场景一:18/05/30 10:58:28 INFO mapreduce.Job...原创 2018-05-30 22:29:36 · 502 阅读 · 0 评论