第一天进新公司,数据组的前辈因为要获取到生产上面所有的日志流水数据,所以商量了方案,通过ELK对日志进行全文检索和定向查找日志,但受限于VPN带宽会影响访问效率,所以给出了一个方案,生产上面搭建一组ELK,然后另外一台服务器搭建一组ELK,生产上面将日志文件dump到指定文件夹,然后将该文件在output到另外一台服务器上面的ElasticSearch 。
前提准备:JDK环境正常,最好是高版本的
步骤:
1.安装nodeJs
别紧张,安装nodeJs并不是让你在nodeJs上面去开发什么,只是ElasticSearch是弹性搜索为Node.js提供一个官方模块 ,所以先装nodeJs安装好。
安装教程:https://www.runoob.com/nodejs/nodejs-install-setup.html
在nodejs环境没问题之后,下载安装lasticdump
2.安装ElasticSearch
下载ElasticSearch压缩包,下载地址为:https://www.elastic.co/downloads/elasticsearch,然后将压缩包解压在指定的地方即可
A、然后进入bin 目录,运行 elasticsearch.bat。
B、修改 elasticsearch.yml
分别加入下面的这些配置文件
cluster.name: my-application
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
C、浏览器输入 localhost:9200/
出现一下界面,ElasticSearch 我们已经成功安装了
3.安装elasticsearch-head
下载elasticsearch-head:https://www.elastic.co/downloads/elasticsearch
- 修改 \elasticsearch-head-master\Gruntfile.js
\elasticsearch-head-master_site\app.js 中以下内容修改为 ElasticSearch 服务器地址,本机部署可以不修改
- cmd 进入 elasticsearch-head-master 目录
npm install
安装成功后,启动 elasticsearch-head
npm run start
访问 localhost:9100/
3.安装Kibana
下载地址:https://www.elastic.co/downloads/kibana
下载好之后将文件解压在你指定的目录下,进入bin目录,点击kibana.bat
接着修改kibana.yml文件,这里加的是你要指定的ES的ip,我这里是本地装的,所以是localhost
4.查看整个流程能否走通了。将dump的文件导入ES里面,查看kibana是否有数据即可
到这里,一套流程就OK了,不过我这里没有引入Logstash,有兴趣的朋友可以整合一下
如果大家有什么不明比的或者有自己的理解的,可以加QQ群进行讨论沟通
QQ群:719431817