ELK——ELK日志架构学习 一.ELK简介 ELK是目前微服务技术下,专门为日志收集、分析的一套架构。ELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash和Kibana。目前又新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于各个服务器上搜集日志后传输给Logstash。ELK架构图如下:Elasticsearch是个开...
Mysql主从数据库的搭建并实现MHA高可用,并通过zabbix对其监控 实验环境主机名(IP)服务server1(172.25.254.1)server2(172.25.254.2)server3(172.25.254.3)server4(172.25.254.4)一.基于gtid的数据库的主从复制1.在官网下载Mysql5.7的相应的安装包并在server1-4上进行数据库的安装//在server1上:/...
企业—kibana部署及其elk开源日志分析平台实现对httpd的分析 server1:elasticsearch,kibanaserver2:elasticsearch,httpd,logstashserver3:elasticsearch,redis,logstashhttpd的日志过滤及其相应的配置具体可参考上2篇博文1.官网下载kibana并且在server1上进行安装并且查看端口[root@server1 ~]# rpm -ivh kibana-...
企业—logstash过滤apache的日志到数据库(redis)再到elasticsearch server1:elasticsearchserver2:httpd,logstashserver3:redis1.在server3上安装redis并且开启redis[root@server3 ~]# lsredis-5.0.3.tar.gz[root@server3 ~]# tar zxf redis-5.0.3.tar.gz [root@server3 ~]# cd redis-...
企业—logstash采集apache的日志到elksticsearch server1:elasticsearchserver2:logstash,apache1.在server2上编辑logstash的的文件[root@server2 conf.d]# pwd/etc/logstash/conf.d[root@server2 conf.d]# vim test.confinput { stdin {}}filter { grok ...
企业—elasticsearch集群搭建 部署如下:集群环境:主机名服务server1(172.25.254.1)elasticsearchserver2(172.25.254.2)elasticsearchserver3(172.25.254.3)elasticsearch1.在server1上开启已经搭建好的elasticsearch,查看端口,具体可查看上篇博文[root@serve...
企业— elk开元日志分析平台之elasticsearch简介及其部署 一.ELK简介1.基本概念 Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful 风格接口,多数据源,自动搜索负载等。 Logstash 是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索) Kibana 也是一个开源和免费的工具,它 Kibana 可以为 Logstash...
企业—saltstack之saltssh及其API的应用 一.saltssh简介1.基本定义 salt-ssh是通过ssh协议执行命令进行管理服务器,不需要在服务器端安装minion客户端,如果有安装minion也可以调用minion模块,salt-ssh有点类似ansible无客户端基与ssh协议进行管理服务器,通过roser(/etc/salt/roser)配置文件。2.应用场景主要作用是不需要安装minion,只要ssh协议开放,即可远...
企业—saltstack远程执行模块(python)及其salt syndic(topmaster)的应用) 一.编写远程执行模块1.在server1上编写远程执行模块(python模块)[root@server1 ~]# mkdir /srv/salt/_modules[root@server1 ~]# cd /srv/salt/_modules/[root@server1 _modules]# ls[root@server1 _modules]# vim my_disk.py#!/usr/...
企业—saltstack将执行结果存储到mysql服务器的两种方式 一.把执行结果存储到mysql服务器 在master端向minion端推送之后,minion端会保存推送信息24小时,可是为了日后便于查看推送的信息,我们应该将这些信息长期存储起来,而存放在数据库中是个不错的选择saltstack把执行的结果保存到mysql中,以便进行命令安全审计mysql负责存储数据,mysql-python负责收集数据master需要安装mysql和M...
企业—saltstack的实现keepalive高可用集群 部署如下实验环境:主机名(IP)服务server1(172.25.254.1)salt-masterserver2(172.25.254.2)salt-minion,keeplivedserver3(172.25.254.3)salt-minion,keeplived1.在server1上的saltstack的配置目录/srv/salt下建立相应的k...
企业—saltstack之jinja模版的应用 jinja1模版有多种应用方式,以apache的端口和ip为例:1.调用jinja1.编辑配置文件添加jinja模版[root@server1 apache]# pwd/srv/salt/apache[root@server1 apache]# lsfiles install.sls service.sls[root@server1 apache]# vim install.sl...
企业—saltstack数据系统Grains和Pillar 一.grains简介grains是Saltstack最重要的组件之一,grains的作用是收集被控主机的基本信息,这些信息通常都是一些静态的数据,包括CPU、内核、操作系统、虚拟化等,在服务器端可以根据这些信息进行灵活定制,管理员可以利用这新信息对不同业务进行个性化配置。Grains是SaltStack当中的一个数据系统,当Minion启动时Grains会把Minion的数据收集起来,...
企业—saltstack简介及其部署应用及其推送相应的服务 一.saltstack简介1.saltstack简介Saltstack是基于Python开发的一套C/S架构,具备Puppet、Ansible功能于一身的配置管理工具,功能十分强大,各模块融合度及复用性极高;使用号称世界上最快的消息队列ZeroMQ使得Saltstack能够秒级在数万台服务器上进行各种操作,而且使用RAS Key方式确认身份,传输采用AES加密,安全性能更高;Salt...
企业—ansible实现远程批量创建用户并且对其密码进行加密设置 1.远程批量创建用户1.编写yaml配置文件[devops@server1 ansible]$ vim adduer.yml文件编辑内容如下:---- hosts: all tasks: - name: create users user: name: "{{ item }}" state: present p...
企业—ansible的playbook应用 一.为什么要引入playbook我们完成一个任务,例如安装部署一个httpd服务,我们需要多个模块(一个模块也可以称之为task)提供的功能来完成。而playbook就是组织多个task的容器,它的实质就是一个文件,有着特定的组织格式,它采用的语法格式是YAML(Yet Another Markup Language)。YAML语法能够简单的表示散列表,字典等数据结构。二.yuml基本语法...
企业—ansible的简介及其部署 一.ansible的简介1.定义ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的,本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块,ansible只是提供一种框架。A...
企业—ansible模块应用 ansible 默认提供了很多模块来供我们使用。在 Linux 中,我们可以通过 ansible-doc -l 命令查看到当前 ansible 都支持哪些模块通过ansible-doc -s 模块名 又可以查看该模块有哪些参数可以使用。1.ansible常用的几个模块及其相应的参数设置copy file ron group user yum ...
企业—gitlab私有仓库的搭建 GitLab 是一个用于仓库管理系统的开源项目。使用Git作为代码管理工具,并在此基础上搭建起来的web服务。可通过Web界面进行访问公开的或者私人项目。它拥有与Github类似的功能,能够浏览源代码,管理缺陷和注释。可以管理团队对仓库的访问,它非常易于浏览提交过的版本并提供一个文件历史库。团队成员可以利用内置的简单聊天程序(Wall)进行交流。它还提供一个代码片段收集功能可以轻松实现代码复用。...
企业—github远程仓库的搭建 登陆https://github.com网站创建一个用户1.新建仓库2.在github上上传key//在主机server1上生成key//将公钥上传在web界面点击settings–>SSH and GPG key将server1上的公钥复制并且点击添加3.在本地添加远程仓库//在web界面查看要添加远程仓库的命令//在本地执行相应命令进行添加,并且保证本地...