ELK、K8S、虚拟化Docker
文章平均质量分 81
ELK、K8S
寰宇001
来自火星的地球人。
展开
-
21个Docker 命令
安装完成docker容器服务之后,需要了解如何操作它?在shell命令行下直接输入docker就可以查看帮助信息,如下。[root[@master](https://my.oschina.net/u/48054) ~]# dockerUsage: docker COMMANDA self-sufficient runtime for containersOptions: ...原创 2019-05-04 16:35:15 · 1072 阅读 · 0 评论 -
19 个 K8S 日常故障处理集锦
问题1:K8S集群服务访问失败?原因分析:证书不能被识别,其原因为:自定义证书,过期等。解决方法:更新证书即可。问题2:K8S集群服务访问失败?curl: (7) Failed connect to 10.103.22.158:3000; Connection refused原因分析:端口映射错误,服务正常工作,但不能提供服务。解决方法:删除svc,重新映射端口即可。kubectl delete svc nginx-deployment问题3:K8S集群服务暴露失败?Error fr转载 2021-08-09 11:04:53 · 1420 阅读 · 0 评论 -
Docker容器的数据卷备份与恢复
1、Docker容器的数据卷备份与恢复数据卷的备份与恢复-备份-注: -v指定数据卷时,如果数据卷不存在则自动创建。1.使用nginx基础镜像新启动一个名为nginx的容器,-v指定数据卷名为web并挂载到nginx容器的/mnt/web目录[root@localhost ~]# docker run -itd --name nginx -v web:/mnt/web nginx3e99025339a4600ae7f607fbaafaff9f36bdf8d8533aaa441a42103be转载 2021-03-12 11:21:02 · 1933 阅读 · 0 评论 -
分分钟搞定阿里云私有Docke镜像仓库的搭建
前言:所谓私有仓库,也就是在本地(局域网)搭建的一个类似公共仓库的东西,搭建好之后,我们可以将自己的镜像提交到私有仓库中。这样我们既能使用 Docker 来运行我们的项目镜像,也避免了商业项目暴露出去的风险。搭建私有镜像仓库:1.登录阿里云选择“容器镜像服务”2.创建容器镜像服务第一次进入容器镜像服务会提示开通服务并设置Registry登录密码,记住这个密码,后面都会用到。3.创建命名空间创建镜像仓库之前必须先创建命名空间,注意一个账号最多只可以创建3个命名空间,并且设置后不可以修改。转载 2021-03-12 11:06:55 · 1510 阅读 · 0 评论 -
K8S实战之环境部署1.18(一)
安装要求,准备环境#系统centos7.6 #硬件:2个CPU,2G内存 #可以访问外网,禁用swap#提前安装docker环境准备三台服务器初始化系统环境,以下命令三台服务器全部执行1.1 关闭防火墙systemctl stop firewalldsystemctl disable firewalld1.2 关闭selinux和关闭swapsed -i 's/enforcing/disabled' /etc/selinux/config转载 2021-09-30 10:07:15 · 422 阅读 · 0 评论 -
使用ssl_exporter监控K8S集群证书
使用kubeadm搭建的集群默认证书有效期是1年,续费证书其实是一件很快的事情。但是就怕出事了才发现,毕竟作为专业搬砖工程师,每天都很忙的。鉴于此,监控集群证书有效期是一件不得不做的事情。Prometheus作为云原生领域的王者,如果能用它来监控证书有效期并能及时告警,那就再好不过了。ssl_exporter就是来做这个事情的。ssh_exporter是一个Prometheus Exporter能提供多种针对 SSL 的检测手段,包括:https 证书生效/失效时间、文件证书生效/失效时间,OCSP 等转载 2021-01-27 16:32:03 · 682 阅读 · 1 评论 -
K8S实战之部署java应用
kubernetes基本概念Pod:1.最小的部署单元,2.一组容器的集合3.一个pod中的容器共享网络命名空间4.生命周期是短暂的Controllers:1.Deployment:部署无状态应用2.Statefulset:部署有状态应用3.Replicaset:确保预期的Pod副本数量4.Daemonset: 确保node运行同一个pod5.Job:一次性任务6.Cronjob:定时任务更高级层次对象,部署和管理podService:防止Pod失联,找到你需要Pod定义转载 2021-01-26 10:01:34 · 1050 阅读 · 0 评论 -
ELK Stack 日志平台性能优化实践
性能分析服务器硬件Linux:1cpu4GRAM假设每条日志250Byte。分析:①logstash-Linux:1cpu 4GRAM每秒500条日志;去掉ruby每秒660条日志;去掉grok后每秒1000条数据。②filebeat-Linux:1cpu 4GRAM每秒2500-3500条数据;每天每台机器可处理:24h*60min*60sec* 3000*250Byte=64,800,000,000Bytes,约64G。③瓶颈在logstash从Redis中取数据存入ES,开启转载 2021-01-21 10:08:53 · 508 阅读 · 0 评论 -
使用ELK实时分析SSH暴力破解
这是ELK入门到实践系列的第二篇文章,分享如何使用ELK实时分析SSH暴力破解。从一张图看出SSH登录时间、登录状态、用户名字典,尝试次数、来源IP等,可洞悉SSH暴力破解,迅速定位攻击者。安全日志分析linux系统的安全日志为/var/log/secure,记录验证和授权方面的信息,只要涉及账号和密码的程序都会记录,比如SSH登录。登录成功:Nov 7 00:57:50 localhost sshd[22514]: Accepted password for root from 192.168.原创 2021-01-16 19:59:55 · 674 阅读 · 1 评论 -
CentOS下ELK 7.2生产安全部署
01、架构说明在需要采集日志的服务器上部署Filebeat服务,它将采集到的日志数据推送到Kafka集群;Logstash服务通过input插件读取Kafka集群对应主题的数据,期间可以使用filter插件对数据做自定义过滤解析处理,然后通过output插件将数据推送到Elasticsearch集群中;最后用户通过Kibana服务提供的web界面,对索引数据做汇总,分析,搜索和展示等功能。本文旨在部署安全可靠的生产架构,对ELK做XPack安全加固,对Kafka做SASL安全加固!02、准备工作转载 2020-12-17 16:52:32 · 227 阅读 · 0 评论 -
Kubernetes 常见问题总结
如何删除不一致状态下的 rc,deployment,service在某些情况下,经常发现 kubectl 进程挂起现象,然后在 get 时候发现删了一半,而另外的删除不了[root@k8s-master ~]# kubectl get -f fluentd-elasticsearch/NAME DESIRED CURRENT READY AGErc/elasticsearch-logging-v1 0 2 2 15hNAME DESIRED CURRENT UP-TO-DATE AVAILABL转载 2020-12-17 10:55:43 · 999 阅读 · 0 评论 -
kubernetes常用命令整理
一、维护类:master节点:[root@k8s-master01 ~]# for I in etcd kube-apiserver kube-controller-manager kube-scheduler; dosystemctl restart $Isystemctl enable $Idone[root@k8s-master01 ~]# service flanneld startnode节点:[root@k8s-master01 ~]#for I in k转载 2020-12-10 14:37:00 · 1122 阅读 · 0 评论 -
国内安装K8S镜像源
这里写自定义目录标题Debian/UbuntuCentOS/RHEL/FedoraDebian/Ubuntuapt-get update && apt-get install -y apt-transport-httpscurl -s https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -cat </etc/apt/sources.list.d/kubernetes.listdeb转载 2020-12-10 13:27:07 · 3390 阅读 · 0 评论 -
Kubernetes之配置与自定义DNS服务
本文解释如何为kubernetes集群配置及自定义DNS服务。从kubernetes1.11版本开始,coreDNS插件被包含在GA发行版中,并且被kubeadm默认安装。详情:Configuring CoreDNS and Using CoreDNS for Service Discovery。除特别说明,本文讨论的是默认dns插件。介绍Kubernetes的DNS功能以插件形式提供,是自动启动的系统内置服务。服务包含如下三个容器:kubedns:监控Kubernetesmaster的servi转载 2020-12-04 11:34:38 · 930 阅读 · 0 评论 -
ES | CentOS下基于ElasticSearch的head插件安装
文章目录:▶ 环境要求▶ node下载▶ node安装▶ head插件下载▶ head插件安装▶ 启动ElasticSearch-head▶ 访问验证ElasticSearch-head环境要求安装elasticsearch-head插件需要nodejs的支持node下载下载地址:https://nodejs.org/en/download/node安装方法1:(centos不推荐)yum install nodejs npm -y以下为方法2:切换到 /opt 目转载 2020-11-20 11:35:26 · 414 阅读 · 0 评论 -
ELK 6下日志平台监控Nginx日志构建实践
整体架构整体架构主要分为 4 个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说:Filebeat就是新版的 Logstash-fowarder,也会是 ELK Stack 在 Agent 的第一选择。Kafka: 数据缓冲队列。作为消息队列解耦了处理过程,同时提高了可扩展性。具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。Logstash :数据收集处理引擎转载 2020-11-12 16:47:39 · 182 阅读 · 0 评论 -
1 CentOS 6下FastDFS实现分布式文件系统
FastDFSFastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。存储节点存储文件,完成文件管理的所有功能:就是这样的存储、同步和提供存取接口,FastDFS同时对文件的metad转载 2020-11-06 11:04:07 · 178 阅读 · 0 评论 -
k8s集群PHP环境使用
一、环境介绍k8s版本: 1.15.2存储: 阿里云NAS测试代码: wordpress二、下载wordpress和创建好数据库等1、下载wordpresswget https://cn.wordpress.org/latest-zh_CN.zip2、创建数据库(数据库我使用yum下载的,数据库尽量不要部署在k8s集群中)create database wordpress DEFAULT CHARACTER SET utf8;grant all on wordpress.* to 'wo原创 2020-09-29 14:08:57 · 1357 阅读 · 0 评论 -
(亲测无坑)Centos7.x使用kubeadm安装K8s集群1.15.0版本
基础环境配置三台Centos7.x的服务器,主节点 cpu >=2,node节点>=1注:(上述cpu为最低配置,否则集群安装部署会报错,无法启动,对其他硬件无硬性要求)以下操作若无特殊说明并指定服务器,默认三台执行一样的操作!!!配置静态网络后需确认是否可以上网;ping通百度即可 ;cat <<EOF >> /etc/hosts10.0.2.15 server0110.0.2.16 server0210.0.2.17 server03E转载 2020-09-21 11:37:01 · 473 阅读 · 1 评论 -
Kubernetes常见操作
kubectl 的奇技淫巧Kubectl 是 Kubernetes 最重要的命令行工具。获取 Pod 和节点1、我猜你知道如何获取 Kubernetes 集群中所有 Namespace 的 Pod——使用 --all-namepsaces 就可以。然而不少朋友还不知道,现在这一开关还有了 -A 的缩写。2、如何查找非 running 状态的 Pod 呢? kubectl get pods -A --field-selector=status.phase!=Running | grep -v Com转载 2020-09-11 09:46:59 · 1108 阅读 · 0 评论 -
ElasticSearch 最全详细使用教程
一、快速入门查看集群的健康状况http://localhost:9200/_cathttp://localhost:9200/_cat/health?v说明:v是用来要求在结果中返回表头状态值说明Green - everything is good (cluster is fully functional),即最佳状态Yellow - all data is available but some replicas are not yet allocated (cluster is fu转载 2020-09-06 23:24:36 · 19879 阅读 · 3 评论 -
elasticsearch压力测试工具之ESrally使用说明
ESrally介绍esrally是elastic search官方用于对ES集群进行压力测试的工具,使用esrally可以为我们构建不同版本集群,构造不同的参数和数据来进行压力测试,并且可以对产生的压测结果进行比较,rally顾名思义是拉力赛的意思,esrally的一些名词也都与拉力赛有关。github地址:https://github.com/elastic/rallyESrally安装环境要求python3.8 pip3jdk8git 1.9+python3.8安装yum insta转载 2020-08-25 09:43:58 · 2119 阅读 · 0 评论 -
CentOS 7.2下Filebeat+Kafka+ELK生产部署(安全加固)
01架构说明在需要采集日志的服务器上部署Filebeat服务,它将采集到的日志数据推送到Kafka集群;Logstash服务通过input插件读取Kafka集群对应主题的数据,期间可以使用filter插数据做自定义过滤解析处理,然后通过output插件将数据推送到Elasticsearch集群中;最后用户通过Kibana服务提供的web界面,对索引数据做汇总,分析,搜索和展示等功能本文旨在部署安全可靠的生产架构,对ELK做XPack安全加固,对Kafka做SASL安全加固!02准备工作转载 2020-07-30 13:11:52 · 2079 阅读 · 1 评论 -
ELK-filbeate收集tomcat日志
filebeat作为代理安装在服务器上,监视指定的日志文件或位置,收集日志事件,并将他们转发到logstash,elasticsearch,kafka等input 我们要采集的日志文件路径, 收割机 harvester 监听文件的变化 -->splooer程序 --> 转发 es | logstash | kafka | redisfilebeat.inputs: - type: stdin #标准输入 enabled: true #启用 output.console: #标准转载 2020-07-07 17:55:20 · 615 阅读 · 0 评论 -
EFK6.3+kafka+logstash日志分析平台集群
转载来源 :EFK6.3+kafka+logstash日志分析平台集群 :https://www.jianshu.com/p/f956ebbb2499架构解读 :第一层、数据采集层安装filebeat做日志采集,同时把采集的日志发送给kafka broker+zookeeper集群。第二层、数据转发层Logstash节点会实时去kafka broker集群拉数据,接受到的日志经过格式处理,然后转发到ES集群第三层、数据检索,数据展示ES Master + Kibana 主要协调ES集群,处理数转载 2020-07-03 18:48:28 · 578 阅读 · 0 评论 -
CentOS 6.8下ELK+filebeat+redis 日志分析平台
转载来源 :ELK+filebeat+redis 日志分析平台 :https://www.jianshu.com/p/bf2793e85d18一.简介ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。其中,Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎,主要负责将日志索引并存储起来,方便业务方检索查询。Logstash是一个日志收集、过滤、转发的中间件,原创 2020-07-03 14:41:03 · 1344 阅读 · 0 评论 -
CentOS下ELK基于ElastAlert实现日志的微信报警
转载来源 :ELK基于ElastAlert实现日志的微信报警 : https://www.jianshu.com/p/f31c0d6020fe一、ElastAlert介绍在日志管理上我们使用Elasticsearch,Logstash和Kibana技术栈来管理不断增长的数据和日志,但是对于错误日志的监控ELK架构并没有提供,所以我们需要使用到第三方工具ElastAlert,来帮助我们及时发现业务中存在的问题。ElastAlert通过定期查询Elasticsearch,并将数据传递到规则类型,该规则类型转载 2020-07-02 15:24:37 · 940 阅读 · 0 评论 -
2 ELK收集nginx的json格式日志
为了便于利用 ELK日志平台收集展示 Nginx 的日志,可以将 Nginx 的日志改成 json 的格式https://www.jianshu.com/p/b6ba259777e71.修改nginx配置文件[root@db01 ~]# vim /etc/nginx/nginx.conf ##打开nginx配置文件添加这些信息 log_format json '{ "time_local": "$time_local", ' '"rem原创 2020-07-01 11:42:07 · 615 阅读 · 0 评论 -
1 ELK安装部署并监控nginx
ELK日志收集部署ELK介绍ELK是3个开源产品的组合:ElasticsearchLogstashKibana全部由Elastic开发维护。Elasticsearch是一个基于Lucene搜索引擎的NoSQL数据库。Logstash是一个日志管道工具,接受数据输入,执行数据转换,然后输出数据。Kibana是一个界面层,在Elasticsearch之上工作。另外,ELK栈中还包含称为Beats的日志收集器系列工具。ELK最常见的使用场景是作为互联网产品的日志系统,当然ELK栈也可用于其他方面原创 2020-07-01 11:38:20 · 651 阅读 · 0 评论 -
ELK添加监控主机
1.获取filebeat并安装53和54主机操作mkdir /data/soft/ -p ##创建软件目录wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm ##获取软件包rpm -ivh filebeat-6.6.0-x86_64.rpm ##开始安装2.修改filebeat配置文件53和54主机操作vim /etc/filebeat/filebeat.yml ##修改配置原创 2020-07-01 11:19:30 · 551 阅读 · 0 评论 -
3 ELK收集nginx正常和错误日志
转载 : ELK收集nginx正常和错误日志 :https://www.jianshu.com/p/ef62538724f71.修改filebeat配置文件在53主机操作[root@db01 ~]# vim /etc/filebeat/filebeat.ymlfilebeat.inputs:##收集正常日志- type: log enabled: true paths: - /var/log/nginx/access.log json.keys_under_root: tru转载 2020-07-01 11:07:57 · 723 阅读 · 0 评论 -
ELK收集tomcat日志
转载来源 :ELK收集tomcat日志 :https://www.jianshu.com/p/9f4ba87e4e151.安装tomcat注意:需要提前安装好java环境[root@db01 ~]# yum install -y tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp tomcat-javadoc 2.修改tomcat日志为json格式[root@db01 ~]# vim /etc/tomcat/server.x转载 2020-07-01 11:04:42 · 900 阅读 · 1 评论 -
ELK收集docker日志
转载来源 :ELK收集docker日志 :1.安装docker##安装依赖yum install -y yum-utils device-mapper-persistent-data lvm2##添加软件源yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo##安装dockeryum install -y docker-ce2.启动docke并拉取运行容器转载 2020-07-01 10:54:54 · 1030 阅读 · 0 评论 -
ELK根据服务类型收集多个容器数据
转载来源 :ELK根据服务类型收集多个容器数据 : https://www.jianshu.com/p/29ad69776ae51.安装docker-composeyum install -y python2-pip ##安装pip工具pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U ##下载加速器pip config set global.index-url https://pypi.tuna.tsinghua.edu.c转载 2020-07-01 10:50:06 · 314 阅读 · 0 评论 -
Zabbix 4.0升级5.0 &&ES 6.1升级7.0
Zabbix 4.0升级5.0一、升级方案1影响范围升级期间,不会影响到现有的系统,系统将保持正常的运行,升级完成后,将进行一段时间的可用性测试,待系统稳定后将替换生产上的监控。2升级方法本次升级采用蓝绿部署的方式,先在测试环境重新部署一套4.0,将原有的系统配置文件导入到测试环境中去,然后再通过从4.0升级到5.0的方法来实现。由于5.0较4.0相比变化较大,数据库中表数量和表字段较4.0有些变化,直接安装5.0再导入4.0的库会导致数据库数据导入失败。3升级后的风险由于官方Zabbix 5转载 2020-06-12 09:43:51 · 3811 阅读 · 0 评论 -
logstash过滤器插件filter详解及实例
原创作者:峰哥ge原创地址:https://www.cnblogs.com/FengGeBlog/p/10305318.htmllogstash过滤器插件filtergrok正则捕获grok是一个十分强大的logstash filter插件,他可以通过正则解析任意文本,将非结构化日志数据弄成结构化和方便查询的结构。他是目前logstash 中解析非结构化日志数据最好的方式grok的语法规则是:%{语法:语义}“语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字,IP模式则会匹配转载 2020-06-08 10:14:12 · 1793 阅读 · 0 评论 -
通过filebeat、logstash、rsyslog采集nginx日志的几种方式
由于nginx功能强大,性能突出,越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。大家都知道ELK技术栈是采集、分析日志的利器。所以这里介绍的是从nginx采集日志到ES。当然至于日志采集以后存到看大家的需要。通过logs转载 2020-05-27 14:30:18 · 662 阅读 · 0 评论 -
ELK下一个配置文件收集多个日志-if根据type类型判断
1.同时收集/var/log/messages日志和secure日志#vim /etc/logstash/conf.d/system.confinput { file { path => "/var/log/messages" type => "system" start...转载 2020-04-22 17:06:39 · 342 阅读 · 0 评论 -
ELK下logstash收集java日志,多行合并成一行
介绍使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并。1.java日志收集测试input { stdin { codec => multiline { pattern => "^\[" //以"["开头进行正则匹配 negate => tru...转载 2020-04-22 16:56:08 · 2516 阅读 · 0 评论 -
定期删除30天以前的elasticsearch的日志
脚本/scripts/delete-elk.log#!/bin/bashDATE=`date -d "1 days ago" +%Y.%m.%d`ip=`ifconfig ens33 | grep "\binet\b"|awk '{print $2}'`curl -s -XGET "http://$ip:9200/_cat/indices?v"| grep $DATE | awk -F ...转载 2020-04-21 23:47:15 · 1358 阅读 · 0 评论