elk安装及环境配置

最新推荐文章于 2024-07-22 15:43:33 发布

习惯de味道

最新推荐文章于 2024-07-22 15:43:33 发布

阅读量224

点赞数 1

分类专栏： ELK 文章标签： elasticsearch

本文链接：https://blog.csdn.net/timicai/article/details/108386423

版权

ELK 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Elasticsearch简介

Elasticsearch是基于Lucene的开源分布式搜索引擎，大幅降低了PB级海量数据存储、检索、分析的门槛
其特点是:高可用，高扩展，是一种NOSQL(not noly sql)的数据存储工具

es安装

笔者用的是6.2.2版本的es，所以以此版本为例，下面是资源链接:
自助提取
提取码：ky1h

elasticsearch-6.2.2.tar.gz //es软件
node-v8.9.1-linux-x64.tar.gz //head-master前置软件
elasticsearch-head-master.zip //head可视化界面
kibana-6.2.2-linux-x86_64.tar.gz //kibana可视化界面,提供图形显示等功能
logstash-6.2.2.tar.gz //日志收集工具
elasticsearch-analysis-ik-6.2.2.zip //分词器

解压安装包

输入：mkdir /software 命令新建software目录,将这些压缩包拉入
tar -zxvf elasticsearch-6.2.2.tar.gz -C /opt/es6 来解压文件到opt目录并命名
tar -zxvf node-v8.9.1-linux-x64.tar.gz -C /opt/node 解压node
输入：yum install -y unzip 下载zip类型解压工具
unzip elasticsearch-head-master.zip 解压head后使用 mv 命令把head移动到opt目录
tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz -C /opt/kibana 解压kibana
tar -zxvf logstash-6.2.2.tar.gz -C /opt/logstash 解压logstash
unzip elasticsearch-analysis-ik-6.2.2.zip 解压分词器
切换到es6中的plugins目录下，新建ik目录 mkdir ik ，切换到software目录将压缩好的文件移动到plugins目录下 mv elasticsearch /opt/es6/plugins/ ，再次切换到plugins目录，将elasticsearch中的文件移动到ik中后然后删除elasticsearch目录 mv elasticsearch/* ik/

创建新用户

创建新用户es并修改密码，输入：useradd es , passwd es

配置es

配置es的参数
输入：vi /opt/es6/config/elasticsearch.yml，按shift+g，快速定位到尾行，按o在下一行插入以下内容：
cluster.name: test //集群名
node.name: test-master //节点名
node.master: true //是否是主节点
network.host: 192.168.184.36 //本机地址
discovery.zen.ping.unicast.hosts: [“192.168.184.36”] //同上
http.cors.enabled: true
http.cors.allow-origin: “*”
配置系统参数
（1）输入：vi /etc/sysctl.conf 插入内容：vm.max_map_count=655360
更新配置 sysctl -w vm.max_map_count=655360

（2）输入：vi /etc/security/limits.conf(配置完成可能需要重启) 插入内容：

soft nofile 65536
hard nofile 65536
soft nproc 4096
hard nproc 4096

修改es6目录的属组(es不能使用root启动) chown -R es:es es6
切换到es6目录下，清空data目录和logs目录输入：rm -rf data/ rm -rf logs/
输入：su es 切换到普通用户，输入：./bin/elasticsearch 或 ./bin/elasticsearch -d
底部出现 started即是启动成功，在windows界面打开网页，输入http://192.168.184.35:9200，可以正常出页面，切有节点的信息，即是启动成功

配置node

修改配置 vi /etc/profile

在jdk配置上修改配置后退出,输入：source /etc/profile 保存配置
输入：node -v 查看node版本信息

配置head-master

(1)输入：npm install -g grunt-cli
(2)输入：npm install 出错时需要输入：npm install phantomjs-prebuilt@2.1.14 --ignore-scripts
输入：vi Gruntfile.js 4360gg切换到4360行
插入：hostname: ‘*’ (注：冒号后有空格)
输入：vi _site/app.js 进行修改
输入：npm run start ，启动head-master
在windows界面，打开网页，输入：http://192.168.56.110:9100

配置kibana

输入：cd /opt/kibana622
输入：vi config/kibana.yml 按shift+g跳转到行末，按o增加以下内容：
server.host: “192.168.184.35”
elasticsearch.url: “http://192.168.184.35:9200”
输入：./bin/kibana ，运行kibana
在windows界面打开网页，输入http://192.168.56.110:5601

logstash实例

1．输入：cd /opt/logstash622      进入logstash的安装目录
2．输入：./bin/logstash -e ‘input { stdin{} } output { stdout{} }’     来测试logstash是否正常工作
3．输入：./bin/logstash -e ‘input { stdin{} } output { stdout{ codec => json } }’    把控制台输入的数据转换成json格式的数据，也可以替换成rubydebug类型的
4．./bin/logstash -e ‘input { stdin{} } output { stdout{ codec => json } elasticsearch { hosts => [“192.168.56.110:9200”] } }’     把控制台输入的数据转换成rubydebug类型的数据，同时上传到es服务器，可以在对应192.168.56.110:9100的页面进行查看
5．使用logstash读取文件
	./bin/logstash -f demo.conf
demo.conf 的内容代码如下：

input{
        file{
                path => "/opt/logstash622/test/demo.txt"
                start_position => "beginning"
                sincedb_path => "/dev/null"
        }
}

filter{
        ruby{
                code => "event.timestamp.time.localtime"
        }
}

output{
        stdout{
                codec => rubydebug
        }
        elasticsearch{
                hosts => ["192.168.56.110:9200"]
        }
}