文章目录
前言
数据分类:在生活中,数据总体分为两种:结构化数据和非结构化数据。结构化数据是指有固定的格式或有限长度的数据，例如：数据库、元数据等。非结构化数据是指不定长度或无固定格式的数据，如邮件、word文档等磁盘上的文件。
一、Lucene是什么？
Lucene是apache下的一个开放源代码的全文检索引擎工具包,提供了完整的查询引擎和索引引擎,部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便在目标系统中实现全文检索的功能。
全文检索：将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定的结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出来的然后重新组织的信息，称之为索引。
全文检索适用于数据量大、数据结构不固定的数据搜索，比如百度、Google等搜索引擎。
二、Lucene实现全文搜索流程
1.索引和搜索流程图
- 绿色表示索引过程：对要搜索的原始内容进行索引构建一个索引库，索引的过程包括
确定原始内容----》采集文档----》创建文档----》分析文档----》索引文档
- 红色表示搜索的过程，从索引库中搜索内容，搜索的过程如下：
用户搜索界面输入内容----》创建查询----》从索引库中搜索----》渲染搜索结果
2.创建索引步骤
2.1导入依赖
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.3.RELEASE</version>
</parent>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.47</version>
</dependency>
<dependency>
<groupId>tk.mybatis</groupId>
<artifactId>mapper-spring-boot-starter</artifactId>
<version>2.1.4</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
<version>4.10.3</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-analyzers-common</artifactId>
<version>4.10.3</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-autoconfigure</artifactId>
</dependency>
<!--中文分词器依赖-->
<dependency>
<groupId>com.janeluo</groupId>
<artifactId>ikanalyzer</artifactId>
<version>2012_u6</version>
</dependency>
</dependencies>
2.2 创建引导类
@SpringBootApplication
@MapperScan("com.leyou.mapper")
public class LuceneApplication {
public static void main(String[] args) {
SpringApplication.run(LuceneApplication.class,args);
}
}2.3 配置yml文件
链接：https://pan.baidu.com/s/1Zj8YoJuYbvdY2Q3PhRax2Q
提取码：ajrj导入这两个文件
application.yml
spring:
datasource:
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql:///数据库名称
username: root
password: root2.4 创建实体类、mapper和service
@Data
@Table(name = "job_info")
public class JobInfo {
@Id
private Long id;
private String companyName;
private String companyAddr;
private String jobName;
private String jobAddr;
@Column(name = "salary_min") //列表和属性名的对应
private Integer salary;
private String url;
}
public interface JobInfoMapper extends BaseMapper<JobInfo> {
}
@Service
public class JobInfoServiceImpl {
@Autowired
private JobInfoMapper jobInfoMapper;
public List<JobInfo> findAll(){
List<JobInfo> list = jobInfoMapper.selectAll();
return list;
}
}2.5 创建一个测试类，在测试类下写创建索引的方法
@RunWith(SpringRunner.class) //springboot做junit测试固定的写法
@SpringBootTest
public class LuceneManager {
@Autowired
private JobInfoServiceImpl jobInfoService;
@Test
public void testCreateIndex() throws Exception {
//7 指定索引文件存储的位置
Directory directory = FSDirectory.open(new File("索引文件位置"));
//8 配置版本和分词器
// Analyzer analyzer = new StandardAnalyzer();//标准分词器(分词结果,都是单个字)
Analyzer analyzer=new IKAnalyzer(); //IK分词器(除了单个字,还有词,类似字典中的词语)
IndexWriterConfig config = new IndexWriterConfig(Version.LATEST, analyzer);
//6创建一个用来创建索引的对象 indexWriter
//需要两个参数,一个存储位置,一个版本和分词器
IndexWriter indexWriter = new IndexWriter(directory, config);
indexWriter.deleteAll(); //先删除索引
//1 获取原始文档
List<JobInfo> jobInfoList = jobInfoService.findAll();
//2 创建文档对象 document
for (JobInfo jobInfo : jobInfoList) {
Document document = new Document();
//3 分析文档,将原始文档提取单词
// 域名 值 源数据是否存储
document.add(new LongField("id", jobInfo.getId(), Field.Store.YES));
//TextField在使用的时候自动分词
document.add(new TextField("companyName", jobInfo.getCompanyName(), Field.Store.YES));
document.add(new TextField("companyAddr", jobInfo.getCompanyAddr(), Field.Store.YES));
document.add(new TextField("jobName", jobInfo.getJobName(), Field.Store.YES));
document.add(new TextField("jobAddr", jobInfo.getJobAddr(), Field.Store.YES));
document.add(new IntField("salary", jobInfo.getSalary(), Field.Store.YES));
document.add(new StringField("url", jobInfo.getUrl(), Field.Store.YES));
//4 将索引存入索引对象中
indexWriter.addDocument(document);
}
//5 关闭资源
indexWriter.close();
}
}
整体结构：
3 查询索引
@RunWith(SpringRunner.class) //springboot做junit测试固定的写法
@SpringBootTest
public class LuceneManager {
@Autowired
private JobInfoServiceImpl jobInfoService;
@Test
public void testQueryIndex() throws Exception {
// 1、指定索引文件存储的位置 D:\class\index
Directory directory = FSDirectory.open(new File("索引文件位置"));
// 2、 创建一个用来读取索引的对象 indexReader
IndexReader indexReader = DirectoryReader.open(directory);
// 3、 创建一个用来查询索引的对象 IndexSearcher
IndexSearcher indexSearcher = new IndexSearcher(indexReader);
// 使用term查询：指定查询的域名和关键字
Query query = new TermQuery(new Term("companyName", "北京"));
TopDocs topDocs = indexSearcher.search(query, 10);//第二个参数：最多显示多少条数据
int totalHits = topDocs.totalHits; //查询的总数量
System.out.println("符合条件的总数:" + totalHits);
ScoreDoc[] scoreDocs = topDocs.scoreDocs; //获取命中的文档 存储的是文档的id
for (ScoreDoc scoreDoc : scoreDocs) {
int docID = scoreDoc.doc;
// 根据id查询文档
Document document = indexSearcher.doc(docID);
System.out.println("id:" + document.get("id"));
System.out.println("companyName:" + document.get("companyName"));
System.out.println("companyAddr:" + document.get("companyAddr"));
System.out.println("salary:" + document.get("salary"));
System.out.println("url:" + document.get("url"));
System.out.println("**************************************************************");
}
}
}
902
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
