ES全文检索
1.准备一个CentOS7版本以上的虚拟机
安装过程略
2.获取虚拟机ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改：ONBOOT=yes
保存退出（:wq）
重启：reboot
查看ip地址：ip addr
3.配置java环境变量
将jdk安装到/usr/local/java目录下
1.将jdk安装包移动到/usr/local/java目录下
mkdir /usr/local/java/
mv jdk-8u171-linux-x64.tar.gz /usr/local/java/
2.tar -zxvf jdk-8u171-linux-x64.tar.gz 解压jdk的安装包
3.yum -y install vim
4.vim /etc/profile
5.添加一下三项
export JAVA_HOME=/usr/local/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.
6.保存一下:wq
7.source /etc/profile 编译一下
8.java -version 查看一下环境变量是否配置成功
4.安装es
1.创建用户组
groupadd es
2.创建其他用户
useradd es -g es
3.修改es用户的密码
passwd es
4.新建一个连接，用es用户登录
5.用root用户将elasticsearch文件移动到es用户下
mv elasticsearch-6.2.4 /home/es
6.用root用户将elasticsearch文件的所有者更改为es
cd /home/es/ 进入到elasticsearch所在的目录
chown -R es:es elasticsearch-6.2.4 更改所有者
7.用es用户启动elasticsearch
cd elasticsearch-6.2.4/bin/
./elasticsearch
出现started表示启动成功
8.测试es是否启动成功
在命令终端中执行:curl http://localhost:9200
9.开启es的远程访问权限
cd elasticsearch-6.2.4/config/
vim elasticsearch.yml
network.host: 0.0.0.0(55行)
切换到root用户修改
vim /etc/security/limits.conf
在最后面追加以下内容
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096
检测修改是否正确，三个连接exit再重连
ulimit -Hn
ulimit -Sn
ulimit -Hu
ulimit -Su
切换到root用户修改
vim /etc/sysctl.conf
在最后面追加以下内容
vm.max_map_count=655360
是刚才添加的配置生效
sysctl -p
用root用户关闭防火墙
systemctl stop firewalld
用es用户启动elasticsearch
cd elasticsearch-6.2.4/bin/
./elasticsearch
在浏览器中输入 http://192.168.181.134:9200
5.安装kibana
使用root用户安装
rpm -ivh kibana-6.2.4-x86_64.rpm
查找kibana的安装位置
find / -name kibana
编辑kibana的配置文件
cd /etc/kibana
vim kibana.yml
修改
server.host: "192.168.181.134" #es服务器的主机ip(第7行)
elasticsearch.url: "http://192.168.181.134:9200" #es服务器地址(第21行)
启动kibana
systemctl start kibana
systemctl stop kibana
systemctl status kibana
用浏览器访问kibana的可视化界面
http://192.168.181.134:5601 #kibana默认端口号为5601
6.安装IK分词器
6.1基本安装
1.使用es用户将本地的ik分词器安装包上传到es服务器
2.使用root用户安装unzip
yum install -y unzip
3.使用es用户解压ik分词器的安装包
unzip elasticsearch-analysis-ik-6.2.4.zip
4.使用es用户将解压的ik包移动到es的plugins目录下
mv elasticsearch elasticsearch-6.2.4/plugins/
5.使用es用户重启es服务生效
./elasticsearch-6.2.4/bin/elasticsearch
6.2配置扩展词
注意：词典的编码必须是UTF-8，否则无法生效，注意CRT的编码格式
1.修改ik分词器的配置文件
vim IKAnalyzer.cfg.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">ext_dict.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">ext_stopwords.dic</entry>
</properties>
2.在ik分词器目录下config目录中创建ext_dict.dic文件 编码一定要为UTF-8才能生效
vim ext_dict.dic 加入扩展词即可
3. 在ik分词器目录下config目录中创建ext_stopwords.dic文件
vim ext_stopwords.dic 加入停用词即可
4.重启es生效
7.测试索引
7.1添加索引
PUT /ems
{
"mappings":{
"emp":{
"properties":{
"name":{
"type":"text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
},
"age":{
"type":"integer"
},
"bir":{
"type":"date"
},
"content":{
"type":"text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
},
"address":{
"type":"keyword"
}
}
}
}
}
PUT /ems/emp/_bulk
{"index":{}}
{"name":"小黑","age":23,"bir":"2012-12-12","content":"为开发团队选择一款优秀的MVC框架是件难事儿，在众多可行的方案中决择需要很高的经验和水平","address":"北京"}
{"index":{}}
{"name":"王小黑","age":24,"bir":"2012-12-12","content":"Spring 框架是一个分层架构，由 7 个定义良好的模块组成。Spring 模块构建在核心容器之上，核心容器定义了创建、配置和管理 bean 的方式","address":"上海"}
{"index":{}}
{"name":"张小五","age":8,"bir":"2012-12-12","content":"Spring Cloud 作为Java 语言的微服务框架，它依赖于Spring Boot，有快速开发、持续交付和容易部署等特点。Spring Cloud 的组件非常多，涉及微服务的方方面面，井在开源社区Spring 和Netflix 、Pivotal 两大公司的推动下越来越完善","address":"无锡"}
{"index":{}}
{"name":"win7","age":9,"bir":"2012-12-12","content":"Spring的目标是致力于全方位的简化Java开发。 这势必引出更多的解释， Spring是如何简化Java开发的？","address":"南京"}
{"index":{}}
{"name":"梅超风","age":43,"bir":"2012-12-12","content":"Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API","address":"杭州"}
{"index":{}}
{"name":"张无忌","age":59,"bir":"2012-12-12","content":"ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口","address":"北京"}
7.2搜索索引
GET /ems/emp/_search
{
"query":{
"term":{
"content":"框架"
}
},
"highlight": {
"pre_tags": ["<span style='color:red'>"],
"post_tags": ["</span>"],
"require_field_match":true,
"fields": {
"*":{}
}
}
}
8.Java操作es
8.1引入maven依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
8.2代码
配置文件
spring:
data:
elasticsearch:
cluster-nodes: 192.168.93.135:9300
实体类添加注解
@Document(indexName = "cmfz",type = "article")
public class Article {}
创建articleRepository
public interface ArticleRepository extends ElasticsearchRepository<Article,String> {
}
业务层代码（核心代码）
@Autowired
private ArticleRepository articleRepository;
@Autowired
private ElasticsearchTemplate elasticsearchTemplate;
@Override
public List<Article> selectArticleByContent(String content) {
if("".equals(content) || content==null){
Iterable<Article> all = articleRepository.findAll();
List<Article> list = IterableUtils.toList(all);
return list;
}else{
HighlightBuilder.Field highlightBuilder = new HighlightBuilder
.Field("*")
.preTags("<span style='color:red'>")
.postTags("</span>")
.requireFieldMatch(false);
NativeSearchQuery query = new NativeSearchQueryBuilder()
.withQuery(QueryBuilders.queryStringQuery(content).field("title").field("author").field("content"))
.withSort(SortBuilders.scoreSort())
.withHighlightFields(highlightBuilder)
.build();
AggregatedPage<Article> articles = elasticsearchTemplate.queryForPage(query, Article.class, new SearchResultMapper() {
@Override
public <T> AggregatedPage<T> mapResults(SearchResponse response, Class<T> aClass, Pageable pageable) {
SearchHits searchHits = response.getHits();
SearchHit[] hits = searchHits.getHits();
List<Article> list = new ArrayList<>();
for (SearchHit hit : hits) {
Article article = new Article();
Map<String, Object> map = hit.getSourceAsMap();
article.setId(map.get("id").toString());
article.setTitle(map.get("title").toString());
article.setAuthor(map.get("author").toString());
article.setContent(map.get("content").toString());
String date = map.get("createDate").toString();
article.setCreateDate(new Date(Long.valueOf(date)));
//高亮
Map<String, HighlightField> fieldMap = hit.getHighlightFields();
if(fieldMap.get("title") != null){
article.setTitle(fieldMap.get("title").getFragments()[0].toString());
}
if(fieldMap.get("author") != null){
article.setAuthor(fieldMap.get("author").getFragments()[0].toString());
}
if(fieldMap.get("content") != null){
article.setContent(fieldMap.get("content").getFragments()[0].toString());
}
list.add(article);
}
return new AggregatedPageImpl<T>((List<T>)list);
}
});
List<Article> list = articles.getContent();
return list;
}
}
articleRepository.save(primaryKey);
articleRepository.deleteById(article.getId());
}
return new AggregatedPageImpl<T>((List<T>)list);
}
});
List<Article> list = articles.getContent();
return list;
}
}
~~~java
articleRepository.save(primaryKey);
articleRepository.deleteById(article.getId());
2001
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
