[ELK] Server 安装

最新推荐文章于 2024-07-11 15:36:07 发布
最新推荐文章于 2024-07-11 15:36:07 发布
阅读量712 收藏
点赞数
分类专栏： 【监控平台】 ---- ELK 文章标签： ELK elasticsearch kibana logstash kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37313242/article/details/76614910
版权

一、ELK 相关资料

ELK官网： 点击打开链接

ELKstack 中文指南：点击打开链接



二、安装过程

节点1：172.214.5.19    

节点2：172.216.18.40     

节点3：172.216.33.100

1、Java安装

# yum -y install java-1.8.0

 

# vi /etc/profile


2、elasticsearch安装



# yum -y install elasticsearch

 

# mkdir -p /data/elk/data  /data/elk/logs

# chown -R elasticsearch /data/elk

 

# vi /etc/elasticsearch/elasticsearch.yml      # 三个节点分别安装 elasticsearch



# vi /etc/security/limits.conf



# vi /usr/lib/systemd/system/elasticsearch.service


# systemctl daemon-reload

# systemctl enable elasticsearch

# systemctl start elasticsearch

 

# tailf/data/elk/logs/wxtky-elk.log

# netstat -tunlp | egrep "9200|9300"

 

3、安装head

# yum -y install git

# cd /data/elk

# git clonegit://github.com/mobz/elasticsearch-head.git

# cd elasticsearch-head

# wget https://nodejs.org/dist/v4.6.1/node-v4.6.1-linux-x64.tar.gz

# tar -zxvf node-v4.6.1-linux-x64.tar.gz

# vi /etc/profile


# source /etc/profile

# npm install -g cnpm --registry=https://registry.npm.taobao.org

# npm install –g grunt–cli  # npm install grunt 多试几次，我这边用这个成功了

# vi Gruntfile.js +94


# vi /etc/elasticsearch/elasticsearch.yml     # elk5中安装head要求配置以下两项



# vi _site/app.js +4329




# cd /data/elk/elasticsearch-head

# grunt server




# 开始安装

# 

。。。。。。


# 全部安装完毕后再次  grunt server 

按照提示 打开 head插件 页面


4、Kibana 安装

# yum安装

# rpm --importhttps://packages.elastic.co/GPG-KEY-elasticsearch

# vi /etc/yum.repos.d/kibana.repo

【kibana-4.6】

name=Kibana repository for 4.6.x packages

baseurl=https://packages.elastic.co/kibana/4.6/centos

gpgcheck=1

gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch

enabled=1

# systemctl enable kibana

 

# 配置

# vi /opt/kibana/config/kibana.yml

server.port: 5601

server.host: "0.0.0.0"

elasticsearch.url: "http://172.214.5.19:9200"         #节点2修改

kibana.index: ".kibana"

 

# firewall-cmd --permanent --add-port='5601/tcp'

 

# 启动

# systemctl daemon-reload

# systemctl start kibana

 

# 登入测试

http://172.214.5.19:5601


5、kafka安装（节点1&2）

# 解压安装

# cd/usr/local/src

# wget http://mirror.rise.ph/apache/kafka/0.10.2.0/kafka_2.12-0.10.2.0.tgz

# tar -xf kafka_2.12-0.10.2.0.tgz

# mv kafka_2.12-0.10.2.0 /usr/local/

# ln -sv kafka_2.12-0.10.2.0/ kafka

 

# zookeeper集群配置

# vi /usr/local/kafka/config/zookeeper.properties

dataDir=/data/zookeeper/data

dataLogDir=/data/zookeeper/log

clientPort=2181

tickTime=2000

initLimit=20

syncLimit=10

server.1=172.214.5.19:2888:3888

server.2=172.216.18.40:2888:3888

# mkdir /data/zookeeper

# echo 1 > /data/zookeeper/myid      #节点2修改 echo 2 > /data/zookeeper/myid 

 

# vi /usr/local/kafka/config/server.properties

broker.id=1                                #节点 2修改

listeners=PLAINTEXT://172.214.5.19:9092      #节点2修改

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/data/kafka-logs             #该目录会自动新建

num.partitions=16

num.recovery.threads.per.data.dir=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=172.214.5.19:2181,172.216.18.40:2181

zookeeper.connection.timeout.ms=6000

 

# 两个节点分别启动

# screen-S zookeeper

# /usr/local/kafka/bin/zookeeper-server-start.sh/usr/local/kafka/config/zookeeper.properties    #启集群

#  /usr/local/kafka/bin/zookeeper-server-stop.sh       #停

# exit

 

# screen -S kafka

# /usr/local/kafka/bin/kafka-server-start.sh/usr/local/kafka/config/server.properties     #启kafka

# /usr/local/kafka/bin/kafka-server-stop.sh   #停

# exit

 

# 两个节点防火墙设置

# firewall-cmd --permanent--add-port={2888/tcp,3888/tcp,2181/tcp,9092/tcp}

# firewall-cmd --reload

 

# 测试

# 新建一个主题

# /usr/local/kafka/bin/kafka-topics.sh --create--zookeeper localhost:2181 --replication-factor2 --partitions 1 --topic summer  

 

# 查看刚创建的主题

# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper172.214.5.19:2181

 

# 查看summer主题的详情

# /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper172.214.5.19:2181 --topic summer

 

# 发送消息

# /bin/bash/usr/local/kafka/bin/kafka-console-producer.sh --broker-list 172.214.5.19:9092 --topic summer

this is anews

 

# 接收消息

# /usr/local/kafka/bin/kafka-console-consumer.sh--zookeeper  172.216.18.40:2181 --topic summer--from-beginning


6、logstash安装（节点1&2）

# yum安装

# rpm --importhttps://packages.elastic.co/GPG-KEY-elasticsearch

# vi /etc/yum.repos.d/logstash.repo

[logstash-2.4]

name=Logstash repository for 2.4.x packages

baseurl=https://packages.elastic.co/logstash/2.4/centos

gpgcheck=1

gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch

enabled=1

 

# yuminstall -y logstash

# chkconfig logstash on

 

# syslog 监控

# ssh 172.216.33.100

# vi /etc/rsyslog.conf

*.* @@172.214.5.19:514

# systemctl restart rsyslog

# exit

# 回到节点1

# cd /etc/logstash/conf.d/

# viinput.conf

input {

    syslog {

        type => "system-syslog"

        host => "172.214.5.19"

        port => "514"

    }

}

 

output {

    kafka {   #输出到kafka

      bootstrap_servers => "172.214.5.19:9092,172.216.18.40:9092"   #他们就是生产者

      topic_id => "system-syslog"  #这个将作为主题的名称，将会自动创建

      compression_type => "snappy"   #压缩类型

    }

}

 

# vi output.conf

input {

    kafka {

        zk_connect => "172.214.5.19:2181,172.216.18.40:2181"   #消费者们

        topic_id => "system-syslog"

        codec => plain

        reset_beginning => false

        consumer_threads => 5

        decorate_events => true

    }

}

 

output {

    elasticsearch {

      hosts => ["192.168.1.203:9200","192.168.1.204:9200"]

      index => "system-syslog-%{+YYYY-MM-dd}"           #为了区分之前实验，我这里新生成的所以名字为“test-system-messages-%{+YYYY-MM}”

  }

}

 

# /etc/init.d/logstash start

 

# 测试查看kafka是否有system-syslog主题

# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper172.214.5.19:2181

system-syslog

 

# URL登入

http://172.214.5.19:9100


# kibana新建索引

# http://172.214.5.19:5601

填写 system-syslog-*



7、nginx负载均衡（172.216.33.100 端）

# 下载安装

# cd /usr/local/src/

# wget http://nginx.org/download/nginx-1.11.12.tar.gz

# tar -zxf nginx-1.11.12.tar.gz

# yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel

# cd nginx-1.11.12/

# ./configure --prefix=/usr/local/nginx

# make && make install

# /usr/local/nginx/sbin/nginx-t    #测试

 

# 配置

# firewall-cmd --permanent --add-port='80/tcp'

# firewall-cmd --reload

# vi /usr/local/nginx/conf/nginx.conf

#user  nobody;

worker_processes  1;

#error_log  logs/error.log;

#error_log  logs/error.log  notice;

#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

events {

    worker_connections  1024;

}

http {

    include       /usr/local/nginx/conf.d/*.conf;       #修改点

    include       mime.types;

    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

    #                  '$status $body_bytes_sent "$http_referer" '

    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;

    #tcp_nopush     on;

    #keepalive_timeout  0;

    keepalive_timeout  65;

    #gzip  on;

    #server {                               # server注释掉

        #listen       80;

    #    server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

    #    location / {

    #        root   html;

    #        index  index.html index.htm;

    #    }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html

        #

     #   error_page   500 502 503 504  /50x.html;

     #   location = /50x.html {

     #       root   html;

     #   }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80

        #

        #location ~ \.php$ {

        #    proxy_pass   http://127.0.0.1;

        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000

        #

        #location ~ \.php$ {

        #    root           html;

        #    fastcgi_pass   127.0.0.1:9000;

        #    fastcgi_index  index.php;

        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;

        #    include        fastcgi_params;

        #}

        # deny access to .htaccess files, if Apache's document root

        # concurs with nginx's one

        #

        #location ~ /\.ht {

        #    deny  all;

        #}

    }

    # another virtual host using mix of IP-, name-, and port-based configuration

    #

    #server {

    #    listen       8000;

    #    listen       somename:8080;

    #    server_name  somename  alias  another.alias;

    #    location / {

    #        root   html;

    #        index  index.html index.htm;

    #    }

    #}

    # HTTPS server

    #

    #server {

    #    listen       443 ssl;

    #    server_name  localhost;

    #    ssl_certificate      cert.pem;

    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;

    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;

    #    ssl_prefer_server_ciphers  on;

    #    location / {

    #        root   html;

    #        index  index.html index.htm;

    #    }

    #}

#}

 

# mkdir /usr/local/nginx/conf.d/

# vi /usr/local/nginx/conf.d/es.conf

upstream es {

    server 172.214.5.19:5601 max_fails=3 fail_timeout=30s;

    server 172.216.18.40:5601 max_fails=3 fail_timeout=30s;

}

 

server {

    listen       80;

    server_name  localhost;

 

    location / {

        proxy_pass http://es/;

        index index.html index.htm;

        #auth

        auth_basic "ELK Private";

        auth_basic_user_file /usr/local/nginx/.htpasswd;

    }

 

 }

 

 

# /usr/local/nginx/sbin/nginx-t   #测试配置文件正确性
# yum -y install httpd-tools   # htpasswd命令包

# htpasswd -cm/usr/local/nginx/.htpasswd elk       #新建elk用户


# /usr/local/nginx/sbin/nginx       #启

# ps -ef | grepnginx | grep -v grep | awk '{print $2}' | xargs kill -9 #停

 

# 登入测试

URL:http://172.216.33.100

输入账号密码



唐僧没有肉
关注
专栏目录
Docker安装ELK
qq_1801743621的博客
12-23 2172
Docker安装ELK。ELK实际上是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。如果与elasticsearch安装的不是同一台机器启动时需要手动指定elasticsearch地址。Password：elasticsearch设置的密码。由于系统开了防火墙，需要放行相关端口。地址：http://ip:5601/拉取当前最新镜像版本：8.5.3。拉取当前最新镜像版本：8.5.3
ELK7.17离线安装
xiongmao0304的博客
10-24 411
elk7.17离线安装
elk-server:创建ELK服务器以监视Azure上的Web服务器
04-09
自动化ELK堆栈部署 该存储库中的文件用于配置以下所示的网络。 这些文件已经过测试，并用于在Azure上生成实时ELK部署。 它们可用于重新创建上图所示的整个部署。 或者，可使用ansible剧本文件的选定部分来仅安装其中的某些片段，例如Filebeat。 --- - name : Config Web VM with Docker hosts : webservers become : true tasks : - name : docker.io apt : update_cache : yes name : docker.io state : present - name : Install pip3 apt : name : python3-pip state : present
搭建ELK日志服务器
lxy123_com的博客
12-14 1383
实验名称：搭建ELK日志分析服务器 实验要求：搭建ELK日志分析系统并进行验证 实验环境： 一台centos7操作系统虚拟机，CUP核心数2,4G运行内存，作为ELK主服务器； 一台cnetos7操作系统虚拟机，CUP核心数2,4G运行内存，作为ELK从服务器，实现热备； 一台centos7操作系统虚拟机，无硬性配置要求，作为客户端来进行验证 实验步骤： 1，准备实验环境 [root@localhost ~]# vim /etc/hostname #更改主机名称 elk1.server.org
ELK学习12_Windows环境下安装ELK
wang_zhenwei的博客
10-16 451
在Windows服务器上安装ELK logstash在windows平台下不能监控磁盘文件，用nxlog代替，监控文件并把内容发送到logstash     部署环境 Os :Windows 7 logstash版本：logstash-2.2.1 elasticsearch版本：elasticsearch-2.2.0 kibana版本：kibana-4.4
搭建elk server通过rsyslog展示nginx和php日志
weixin_34327761的博客
01-24 137
一、系统和所需软件版本介绍系统版本：centos 6.5 64位软件版本：jdk-8u60-linux-x64.tar.gz、elasticsearch-2.4.2.tar.gz、logstash-2.4.1.tar.gz、kibana-4.6.3-linux-x86_64.tar.gz二、安装java环境1)解压jdk软件压缩包。tar -zxvf jdk-8u60-linux-x64.tar....
windows 下ELK 环境搭建
太多的虚幻
06-12 4032
上次本身想在linux 下搭建的，无奈服务器配置太低，改为在windows下搭建。 首先下载我们所需要的文件(Elasticsearch,logstash,Kibana),这里为了尽量少采坑，Elasticsearch和Kibana均采用5.6.7版本，下载完后分别解压即可 下载Elasticsearch head(github地址) （到现在分别启动bin下bat基本就可以...
Linux 安装elk
最新发布
Chihirozy的博客
07-11 759
elk部署
ELK apm-server安装及配置
weixin_30375785的博客
06-02 1235
下载文件并解压 curl -L -O https://artifacts.elastic.co/downloads/apm-server/apm-server-7.12.0-darwin-x86_64.tar.gz tar xzvf apm-server-7.12.0-darwin-x86_64.tar.gz cd apm-server-7.12.0-darwin-x86_64/ 编辑配置文件 vim apm-server.yml output.elasticsearch: hosts: ["&l
Ubuntu Server安装Kafka+ELK
现阶段围绕Java展开
01-17 6402
Ubuntu Server安装Kafka+ELK环境KafkaElasticsearchLogstashKibana测试扩展 环境 Kafka、Elasticsearch、Logstash、Kibana分别安装在四台如下版本的Ubuntu Server中 注意：本文使用的Kafka版本为2.7 ELK版本为7.10，需要JAVA8以上版本，本文使用的JDK为Zulu JDK Kafka 下载：wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2
ELK(Windows下配置)
gugugugugu
12-26 4275
关于ELK在windows下的配置
Windows搭建ELK教程
Lisam Blog
03-25 6812
ELK由ElasticSearch（ES）、Logstash和Kiabana三个开源工具组成 1 首先下载如下： 分别去https://www.elastic.co/downloads/下载上面三个windows的安装包，以为Logstash依赖ES服务，Kibana依赖Logstash和ES，所以安装和启动顺序分别为：ES->Logstash->Kibana ...
ELK集群搭建（一）
热门推荐
变成习惯
04-18 2万+
ELK集群部署 ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合，也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。 ElasticSearch ...
shell中 >/dev/null 2>&1
黄亚的博客
09-28 757
shell中>/dev/null 2>&1 1. /dev/null 这条命令的作用是将标准输出1重定向到/dev/null中。/dev/null代表linux的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”。那么执行了>/dev/null之后，标准输出就会不再存在，没有任何地方能够找到输出的内容。 2>&1 这条命令用到了重定向...
docker环境下elk添加身份验证
进击的豌豆的博客
01-18 6321
构建好elasticsearch、logstash、kibana、filebeat的容器。 docker-compose文件如下 --- 给elasticsearch添加身份验证 官方文档如下:https://www.elastic.co/guide/en/elasticsearch/reference/7.16/security-minimal-setup.html#security-create-builtin-users 修改elasticsearch.yml的配置文件，新增一行xpack.secu
ELK日志分析平台的搭建
12逝水流年12
09-04 728
1  ELK平台简介 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化...
漫谈ELK在大数据运维中的应用
happytofly的博客
02-05 2112
圈子里关于大数据、云计算相关文章和讨论是越来越多，愈演愈烈。行业内企业也争前恐后，群雄逐鹿。而在大数据时代的运维挑站问题也就日渐突出，任重而道远了。本文旨在针对复杂的大数据运维系统推荐一把利器，达到抛砖引玉的效果，如果文中出现任何纰漏和错误的地方，恳请指正，欢迎讨论，希望大家不吝赐教。众所周知，大数据平台组件是很复杂的。笔者之前接触的一个大数据平台解决方案，仅平台组件就达20多个，这还没有加上物联...
windows10 ELK保姆级教程以及踩坑记录 适用于新版8.1.3
qq_39316356的博客
04-22 1746
ELK保姆级部署教程以及踩坑记录
centos7.9安装EFK ELK等日志系统选型
Z.X的博客
09-09 414
2021年9月5日21:41:08 关闭防火墙 systemctl stop firewalld systemctl stop iptables systemctl disable firewalld.service systemctl disable iptables.service sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc...
ELK server
12-09
ELK是一个开源的日志管理平台，由三个开源工具Elasticsearch、Logstash和Kibana组成。其中Elasticsearch是一个分布式的搜索和分析引擎，Logstash是一个用于收集、处理和转发日志和事件的工具，Kibana则是一个用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值