solr配置批量导入数据

配置批量导入数据

使用dataimport插件批量导入数据。

第一步：把dataimport插件依赖的jar包添加到solrcore（collection1\lib）中

复制到...........

因为批量导入mysql数据库内容所以添加mysql数据库驱动包

第二步：配置solrconfig.xml文件，添加一个requestHandler。

添加字段

 <requestHandler name="/dataimport" 
class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
      <str name="config">data-config.xml</str>
     </lst>
  </requestHandler> 

第三步：创建一个data-config.xml，保存到collection1\conf\目录下

图中的product 代表 数据库表中数据对应的域，这里的域必须使用solr\solrhome\collection1\conf\schema.xml配置好的域名

去认识schema.xm

FieldType是域的类型，下面是solr提供的默认类型

FieldType子结点包括：name,class,positionIncrementGap等一些参数：

name：是这个FieldType的名称

class：是Solr提供的包solr.TextField，solr.TextField 允许用户通过分析器来定制索引和查询，分析器包括一个分词器（tokenizer）和多个过滤器（filter）

positionIncrementGap：可选属性，定义在同一个文档中此类型数据的空白间隔，避免短语匹配错误，此值相当于Lucene的短语查询设置slop值，根据经验设置为100。

在FieldType定义的时候最重要的就是定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词和过滤

Field域

在fields结点内定义具体的Field，filed定义包括name,type（为之前定义过的各种FieldType）,indexed（是否被索引）,stored（是否被储存），multiValued（是否存储多个值）等属性。

如下：

<fieldname="name" type="text_general" indexed="true"stored="true"/>

<fieldname="features" type="text_general"indexed="true" stored="true"multiValued="true"/>

multiValued：该Field如果要存储多个值时设置为true，solr允许一个Field存储多个值，比如存储一个用户的好友id（多个），商品的图片（多个，大图和小图），通过使用solr查询要看出返回给客户端是数组

dynamicField（动态字段）

动态字段就是不用指定具体的名称，只要定义字段名称的规则，例如定义一个 dynamicField，name 为*_i，定义它的type为text，那么在使用这个字段的时候，任何以_i结尾的字段都被认为是符合这个定义的，例如：name_i，gender_i，school_i等。

 

自定义Field名为：product_title_t”和scheam.xml中的dynamicField规则匹配成功，如下：

“product_title_t”是以“_t”结尾。

 

copyField复制域

copyField复制域，可以将多个Field复制到一个Field中，以便进行统一的检索：

比如，输入关键字搜索title标题内容content，

定义title、content、text的域：

根据关键字只搜索text域的内容就相当于搜索title和content，将title和content复制到text中，如下：

配置好了现在，就可以批量导入数据库中的数据了