hbase跑数到solr时数据对不上一些简单总结

 

 

工作中，需要将hbase数据跑到solr里做部分字段索引，目前出现过两种情况：

 

1 假设hbase有100条， 跑到solr里是70条

 

2 假设hbase有100条，跑完job后mr显示 reduce input输出个数是100，但是在solr界面查询时，

   报错，包什么字段 XX not found之类 ，但是看solr对应的索引库的schema.xml根本没定义这个字段

 

 

针对问题1，

solr ---> hbase时， 跑的job下  拷贝这个job的链接，然后放在ie上，
然后点击Counters

看Map-Reduce Framework，
看 Map input records  Map output records 个数对不对 
看 Reduce input redocds   Reduce output records    来看map reduce个数是否一致，

 

处理方式：  重新跑这个脚本，具体原因不知道，只能想到是跑的时候 网断了还是怎么滴，数没有完全跑过来

 

 

针对问题2，

我是将索引库的 schema.xml 在window下编辑后在上传提交到linux对应索引库下替代schema,

不知道为什么这种操作下已经出现过两次错误了，这次是跑完到solr的数据查不到，以前还有一次是

直接跑job的时候就报错，

 

处理方式， 将linux下的对应索引库文件下到window，然后修改后整体提交到linux上覆盖，在重新跑。

 

 

 

 

关于solr工作中的用法，总结 和hbase的结合 和查询速度的schema的加缓存优化，会后续慢慢加进来.....