2015年01月_Garry1115

11月 10月 05月 03月 02月 01月

转载 solr定时实时重建索引和增量更新

Solr Data Import Hander Scheduler 说明: Solr官方提供了很强大的Data Import Request Handler，同时提供了一个简单的 Scheduler，示例中的 Scheduler 只支持增量更新，不支持定期重做索引，因此我做了一个简单的封装，增加了重做索引的定时器. (原定时器作者是:Marko Bonaci, 在此表示

2015-01-26 14:40:08 41008 2

原创 Solr增量索引

注：全量索引和增量索引data-config.xml和delta-data-config.xml配置文件默认放在和solrconfig.xml同级目录solrconfig.xml配置如下：<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">

2015-01-26 14:37:38 6449 2

原创 Solr全量索引

Solr DIH（Data Import Handler）组件的实现类为org.apache.solr.handler.dataimport.DataImportHandler，在Solr的solrconfig.xml中配置两个handler，配置分别说明如下：solrconfig.xml配置如下：<requestHandler name="/dataimport" clas

2015-01-26 14:09:15 5320

原创 solrExecption : org.apache.solr.common.SolrException: undefined field text

org.apache.solr.common.SolrException: undefined field text at org.apache.solr.schema.IndexSchema.getDynamicFieldType(IndexSchema.java:1241) at org.apache.solr.schema.IndexSchema$SolrQueryAnaly

2015-01-26 10:25:09 8541

原创 solr4.8单机部署（solr4.8+tomcat7）

所需软件：solr4.8.1、Tomcat7下载完相应软件后开始单机部署（windows下）在F盘根目录创建solr文件夹，并解压solr4.8和tomcat7到该文件夹在F盘根目录创建solrhome文件夹，将F:\solr\solr-4.8.1\example\solr下的所有文件复制到solrhome文件夹中将F:\solr\solr-4.8.1\dist下的solr-4.8

2015-01-22 14:48:14 4076

原创第二章：lucene构建索引（新增、查询、更新、删除）

package lucene2;import java.io.IOException;import junit.framework.TestCase;import org.apache.lucene.analysis.WhitespaceAnalyzer;import org.apache.lucene.document.Document;import org.apache.

2015-01-20 10:57:36 2199

原创 lucene 索引出错 no segments* file found in org.apache.lucene.store.MMapDirectory

创建第一个lucene索引后，搜索出错：org.apache.lucene.index.IndexNotFoundException: no segments* file found in org.apache.lucene.store.MMapDirectory@H:\lucene lockFactory=org.apache.lucene.store.NativeFSLockFactory

2015-01-19 15:41:59 19245 2

原创第一章：初识lucene

lucene实战程序示例：建立索引（使用Indexer索引文本文件）package lucene;import java.io.File;import java.io.FileFilter;import java.io.FileReader;import java.io.IOException;import org.apache.lucene.analysis.standar

2015-01-19 15:31:36 1041

原创 sqoop简介与安装配置

SQOOP的描述SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中 SQOOP的安装解压缩sqoop的tar.gz文件，设置环境变量（source /etc/profile）把数据从

2015-01-16 14:52:57 1004

原创 hive配置遇到的问题（ Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D）

遇到的异常详情如下：Exception in thread "main"java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:

2015-01-16 14:21:43 36773 2

原创 hive简介以及安装配置

Hive简介1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。这

2015-01-16 14:18:58 2433