5分钟搭建好ElasticSearch开发环境
基于ElasticSearch 7
ElasticSearch简介
Elaticsearch,简称为es, es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
官网
https://www.elastic.co/cn/elasticsearch/
使用****案列
- 2013年初,GitHub抛弃了Solr,采取ElasticSearch 来做PB级的搜索。 “GitHub使用ElasticSearch搜索20TB的数据,包括13亿文件和1300亿行代码”* 维基百科:启动以elasticsearch为基础的核心搜索架构* SoundCloud:“SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务”* 百度:百度目前广泛使用ElasticSearch作为文本数据分析,采集百度所有服务器上的各类指标数据及用户自定义数据,通过对各种数据进行多维分析展示,辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线(包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等),单集群最大100台机器,200个ES节点,每天导入30TB+数据* 新浪使用ES 分析处理32亿条实时日志* 阿里使用ES 构建挖财自己的日志采集和分析体系
原理
ElasticSearch的底层是Lucene,参考2020-12-20_5分钟了解搜索引擎Lucene的原理.md
和数据库对比
Relational DB -> Databases -> Tables -> Rows -> Columns
Elasticsearch -> Indices -> Types -> Documents -> Fields
安装JDK
注意ElasticSearch最低要求JDK1.8,Oracle下载JDK太麻烦,下载个JDK还让登录,这里推荐个镜像站,各种版本都有:嗖嗖下载java jdk镜像 JDK装好后第一件事情是设置环境变量,环境变量的作用是让你在任何目录下都可以调用Java命令:参考
- 打开环境变量设置窗口:右键此电脑 > 属性 > 高级系统设置 > 环境变量 > 关注点在于下面的系统变量
- 新建JAVA_HOME:变量名为JAVA_HOME,变量值为你的JDK安装目录,类似于:C:\Program Files\Java\jdk1.8.0_31
- 找到系统变量里面的Path,点击编辑,新增两条:%JAVA_HOME%\bin,%JAVA_HOME%\jre\bin
- 新建CLASSPATH:变量名为CLASSPATH,变量值为:.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar,注意最前面的一个点表示当前目录,不要遗漏
- 验证:WIN+R打开CMD窗口,输入java、java -version、javac均有回显说明环境变量设置成功!
注意一定要设置环境变量,否则ES启动不了!
安装ElasticSearch
- 去官网下载:https://www.elastic.co/cn/downloads/elasticsearch
- 解压到你喜欢地方,注意安装文件夹最好不要带有空格,否则后面的IK分词器可能启动不成功
- 双击bin/elasticsearch.bat
- 打开浏览器访问http://localhost:9200/,如果能访问则安装成功
设置允许跨域(一些可视化界面需要) 编辑conf/elasticsearch.yml,这是一个空配置文件,里面全是注释,在文件最后增加如下内容
http.cors.enabled: true
http.cors.allow-origin: "*"
安装IK分词器(中文分词)
- 下载:https://github.com/medcl/elasticsearch-analysis-ik/releases
- 解压到plugins/elasticsearch-analysis-ik-7.10.1文件夹
IK提供了两个分词算法ik_smart和ik_max_word,其中ik_smart为最少切分ik_max_word为最细粒度划分,测试IK安装是否成功
GET http://127.0.0.1:9200/_analyze
{
"analyzer": "ik_smart",
"text": "我是程序员"
}
添加测试数据
2020-12-30所使用的版本为elasticsearch-7.10.1-windows-x86_64
创建索引
用postman或者任何你喜欢的工具,创建索引的同时设置了mapping、分片数量和复制数量,分片和复制默认数量分别是5和1
PUT http://127.0.0.1:9200/blog1
{
"settings":{
"number_of_shards":3,
"number_of_replicas":1
},
"mappings": {
"properties": {
"id": {
"type": "long"
},
"title": {
"type": "text",
"analyzer":"ik_smart"
},
"content": {
"type": "text",
"analyzer":"ik_smart"
}
}
}
}
创建文档
POST http://127.0.0.1:9200/blog1/_doc/1
{
"id":1,
"title":"ElasticSearch是一个基于Lucene的搜索服务器",
"content":"它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。"
}
查询文档
简单查询一下,看看是否创建成功
GET http://127.0.0.1:9200/blog1/_doc/1
{
"_index": "blog1",
"_type": "_doc",
"_id": "1",
"_version": 3,
"_seq_no": 2,
"_primary_term": 1,
"found": true,
"_source": {
"id": 1,
"title": "[xxxxx]ElasticSearch是一个基于Lucene的搜索服务器",
"content": "它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。"
}
}
根据query_string查询
POST http://127.0.0.1:9200/blog1/_doc/_search
{
"query": {
"query_string": {
"default_field": "title",
"query": "钢索"
}
}
}
安装可视化界面
ES可视化界面有如下几种
- elasticsearch-head* ElasticHD* Dejavu
下面一个一个看
elasticsearch-head
需要nodejs环境,上古界面,功能单一,不推荐
ElasticHD
项目地址:https://github.com/360EntSecGroup-Skylar/ElasticHD
特点
- 二进制单文件,安装方便* 界面炫酷* SQL转ES查询小工具挺实用* 目前(2020-12-30)监控还在完善
安装步骤 其实就是一个单二进制文件
- 下载压缩包并解压:https://github.com/360EntSecGroup-Skylar/ElasticHD/releases/
- 启动:./ElasticHD.exe -p 127.0.0.1:9800
- 访问http://127.0.0.1:9800/
- Dashboard看着还挺舒服
- 查询界面
- 索引
- SQL转ES查询小工具还挺实用
Dejavu
项目地址:https://github.com/appbaseio/dejavu/
特点:
- 安装方式多样,支持docker、Chrome扩展、甚至在线体验* 界面更加现代化* 有编辑模式,直接能修改内容* 数据可以导入导出,支持CVS、JSON格式
在线体验地址:https://dejavu.appbase.io,在顶部填入主机http://127.0.0.1:9200和上面创建的索引blog1点击右边Connect即可连接
- 数据浏览区,界面非常直观
- 数据导入,由于要登陆,没有过多尝试,感兴趣的伙伴可以尝试下
- 通用查询窗口
- 查询预览区
- Dejavu的作者还对目前存在的UI进行了比较
参考
- https://www.codesheep.cn/2018/10/30/es-visualization/