使用ELK搭建查询工具

最近算是跟大数据杠上了,接连碰到动辄几十万过亿的数据处理量,于是按照网上的教程研究了使用ELK建立全文索引查询的方式,这里做一下整理,方便以后使用。

环境准备

  1. 这里使用Ubuntu18.04作为服务器系统环境,去官网下载,安装配置虚拟机即可。
  2. 安装完成后进行基本的操作配置可参考另一篇关于linux安装后操作的文章。点击这里查看

安装配置

  1. 安装Orecal版JDK1.8(具体操作参考上面的链接的文章)
  2. 前往官网下载elasticsearch,并上传至服务器用户目录。下载地址:ELK
  3. 使用 sudo chmod -R 777 elasticsearch-6.3.0/将所有文件修改为可执行。
  4. 修改配置文件elastisearch.yml使elastisearch可以被远程访问。
    这里写图片描述
  5. 只修改这里是不行的,运行时会报Ubuntu elasticsearch max virtual memory areas vm.max_map_count [65530] is too low的错,此时还需要,进行如下操作:参见另一篇我发过的文章点击阅读
  6. 使用curl创建索引curl -XPUT 'http://ip:9200/sedb'
  7. 安装拼音分词和中文分词插件

    ./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v6.3.0/elasticsearch-analysis-pinyin-6.3.0.zip
    ./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip

  8. 至此elasticsearch即搭建完毕,接下来安装Kibana。
  9. wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.0-amd64.deb
  10. sudo dpkg -i kibana-6.3.0-amd64.deb
  11. 修改kibana配置文件sudo vim /etc/kibana/kibana.yml

    server.port: 5601
    server.host: “0.0.0.0”
    elasticsearch.url: “http://localhost:9200

  12. 设置开机自动启动

    sudo systemctl daemon-reload
    sudo systemctl enable kibana
    sudo systemctl start kibana

  13. 下载logstash设置数据导入文件importdata.conf
  14. 执行./logstash -f importdata.conf将csv文件导入(可参考这篇文章)

一、数据导入

curl -X POST "localhost:9200/sedb/sedb/" -H 'Content-Type: application/json' -d'
{
    "user": "赵六",
    "title": "工程师",
    "desc": "数据库管理"
}
'

二、查询指定索引内容

http://192.168.213.134:9200/sedb/sedb/_search

参考文章:
1. 全文搜索引擎 Elasticsearch 入门教程

阅读更多
上一篇Ubuntu elasticsearch max virtual memory areas vm.max_map_count [65530] is too low, increase to at le
下一篇常用正则表达式
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭