使用ELK搭建查询工具

最近算是跟大数据杠上了,接连碰到动辄几十万过亿的数据处理量,于是按照网上的教程研究了使用ELK建立全文索引查询的方式,这里做一下整理,方便以后使用。

环境准备

  1. 这里使用Ubuntu18.04作为服务器系统环境,去官网下载,安装配置虚拟机即可。
  2. 安装完成后进行基本的操作配置可参考另一篇关于linux安装后操作的文章。点击这里查看

安装配置

  1. 安装Orecal版JDK1.8(具体操作参考上面的链接的文章)
  2. 前往官网下载elasticsearch,并上传至服务器用户目录。下载地址:ELK
  3. 使用 sudo chmod -R 777 elasticsearch-6.3.0/将所有文件修改为可执行。
  4. 修改配置文件elastisearch.yml使elastisearch可以被远程访问。
    这里写图片描述
  5. 只修改这里是不行的,运行时会报Ubuntu elasticsearch max virtual memory areas vm.max_map_count [65530] is too low的错,此时还需要,进行如下操作:参见另一篇我发过的文章点击阅读
  6. 使用curl创建索引curl -XPUT 'http://ip:9200/sedb'
  7. 安装拼音分词和中文分词插件

./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v6.3.0/elasticsearch-analysis-pinyin-6.3.0.zip
./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip

  1. 至此elasticsearch即搭建完毕,接下来安装Kibana。
  2. wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.0-amd64.deb
  3. sudo dpkg -i kibana-6.3.0-amd64.deb
  4. 修改kibana配置文件sudo vim /etc/kibana/kibana.yml

server.port: 5601
server.host: “0.0.0.0”
elasticsearch.url: “http://localhost:9200

  1. 设置开机自动启动

sudo systemctl daemon-reload
sudo systemctl enable kibana
sudo systemctl start kibana

  1. 下载logstash设置数据导入文件importdata.conf
  2. 执行./logstash -f importdata.conf将csv文件导入(可参考这篇文章)

一、数据导入

curl -X POST "localhost:9200/sedb/sedb/" -H 'Content-Type: application/json' -d'
{
    "user": "赵六",
	"title": "工程师",
	"desc": "数据库管理"
}
'

二、查询指定索引内容

http://192.168.213.134:9200/sedb/sedb/_search

参考文章:

  1. 全文搜索引擎 Elasticsearch 入门教程
阅读更多

没有更多推荐了,返回首页