SOLR自定义实现增量更新

SOLR自定义实现增量更新
为了在SOLR定制过程中，更好的了解SOLR使用方式，个人决定对solr增量更新使用自定义方案，即整合SOLR源码实现增量更新。
方式：
1、引入第三方框架quatz
理由：通过引入该框架实现实例增量数据更新的在线维护，并尽可能的保证各个增量实例更新时序的独立性。
最重要的是该框架操作简单，方便。
2、SOLR与quzta整合

在SOLR项目中引入，quatz-*.jar文件，
参考整合代码：

public class SchedulerFactory {
	
	public static Scheduler getScheduler()  {
		StdSchedulerFactory sfact = new StdSchedulerFactory();
                 Scheduler scheduler=null;
		try {
			scheduler= sfact.getScheduler();
			return scheduler;
		} catch (SchedulerException e) {
			e.printStackTrace();
		}
                return scheduler;
	}
}

增量任务：

public class DeltaImportJob implements Job{
	@Override
	public void execute(JobExecutionContext context) throws JobExecutionException {
		JobDataMap map = context.getJobDetail().getJobDataMap();
		String coreName=map.getString("coreName");
		String entity=map.getString("entity");
		HttpClientResult clientResult=MySolrClient.full_import(coreName, entity);
		System.out.println("json 回执--->"+JSONObject.toJSONString(clientResult));
	}
}

自定义增量方式：
主要封装总要的功能点，通过API方式调用可以减少对SOLR-core源码的污染（技术薄弱的人改造core核心代码产生bug概率高）

/**
 * 封装solr api调用
 * */
public class MySolrClient {
	/**
	 * 全量更新
	 * command=full-import&verbose=false&clean=false&commit=true
	 * &core=new_core&entity=bisInspLog&name=dataimport
	 * */
	public static HttpClientResult full_import(String coreName,String entity) {
		PropertiesUtils props=PropertiesUtils.getInstance();
		Map<String,String> params=new HashMap<>();
		params.put("command", "full-import");
		params.put("commit", "true");
		params.put("core", coreName);
		if(StringUtils.isNotBlank(entity)) {
			params.put("entity", entity);
		}
		params.put("clean", "false");
		params.put("name", "dataimport");
		String solrUrl=props.getProperty("solr_url")+coreName+"/dataimport?wt=json&indent=on";
		try {
			return HttpClientUtils.doPost(solrUrl, params);
		} catch (Exception e) {
			
			e.printStackTrace();
		}
		return new HttpClientResult(HttpStatus.BAD_REQUEST_400,"全量更新失败!!");
	}
	
	/**
	 * 增量更新
	 * command=delta-import&verbose=false&clean=false&commit=true
	 * &core=new_core&entity=bisInspLog&name=dataimport
	 * */
	public static HttpClientResult delta_import(String coreName,String entity) {
		PropertiesUtils props=PropertiesUtils.getInstance();
		Map<String,String> params=new HashMap<>();
		params.put("command", "delta-import");
		params.put("commit", "true");
		params.put("clean", "false");
		params.put("core", coreName);
		if(StringUtils.isNotBlank(entity)) {
			params.put("entity", entity);
		}
		params.put("name", "dataimport");
		String solrUrl=props.getProperty("solr_url")+coreName+"/dataimport?wt=json";
		try {
			return HttpClientUtils.doPost(solrUrl, params);
		} catch (Exception e) {
			
			e.printStackTrace();
		}
		return new HttpClientResult(HttpStatus.BAD_REQUEST_400,"增量更新失败!!");
	}
	
	public static HttpClientResult add_field(String cloumn,String coreName) {
		PropertiesUtils props=PropertiesUtils.getInstance();
		Map<String,String> retMap=new HashMap<String,String>();
		retMap.put("stored", "true");
		retMap.put("name", cloumn);
		retMap.put("type", "string");
		retMap.put("indexed", "true");
		retMap.put("uninvertible", "true");
		Map<String,Map> retParam=new HashMap<String,Map>();
		retParam.put("add-field", retMap);
		String solrUrl=props.getProperty("solr_url")+coreName+"/schema?wt=json";
		try {
			String json=JSONObject.toJSONString(retParam);
			return HttpClientUtils.post(solrUrl, json);
		} catch (Exception e) {
		}
		return new HttpClientResult(HttpStatus.BAD_REQUEST_400,"添加一般属性!!");
	}
	
	/**
	 * reload 加载数据
	 * http://localhost:8080/solr/admin/cores?
	 * _=1566869343572&action=RELOAD&core=default_core&wt=json
	 * */
	public static HttpClientResult reload(String coreName) {
		
		try {
			PropertiesUtils props=PropertiesUtils.getInstance();
			String solrUrl=props.getProperty("solr_url")+"admin/cores?wt=json&_="+new Date().getTime()+"&action=RELOAD&core="+coreName;
			return HttpClientUtils.doGet(solrUrl);
		} catch (Exception e) {
			
		}
		return new HttpClientResult(HttpStatus.BAD_REQUEST_400,"加载数据成功");
	}
}

3、改造SOLR控制台页面代码
SOLR页面主要架构为angularJs,通过系统现有的框架和路由机制新增操作页面或者功能页面都极为简单。

最终页面效果如下：

总结：完成以上代码后，点击start系统将会增量更新对应实例数据，点击stop后，增量更新不再继续。使用quatz最大的好处就是可以做到增量数据的可视化维护，不用纠结于SOLR各种各样的配置文件。而本码农改造SOLR的第一个任务就是尽可能实现SOLR的可视化维护。