- 博客(47)
- 收藏
- 关注
RSS订阅原创 harbor安装使用
Harbor安装部署1 harbor介绍Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry服务器，Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Re...
2020-03-02 14:25:36
375
原创 centos8安装使用
Centos8安装部署与使用1 安装部署在安装部署过程中出现的问题如下：1、无法安装在设置中关闭autoinst.Iso,关闭启动时链接。2、需要创建非root用户的其他用户，否则无法正确安装centos83、在/etc/resolv.conf配置文件中添加新的dns服务器地址，否则无法解析域名4、centos8的安装部署可以使用yum或者dnf，如安装httpd服...
2020-03-02 14:22:34
2372
原创 alertmanager集群搭建
1 Gossip协议Gossip是分布式系统中被广泛使用的协议，用于实现分布式节点之间的信息交换和状态同步。Gossip协议同步状态类似于流言或者病毒的传播，如下所示：Gossip分布式协议一般来说Gossip有两种实现方式分别为Push-based和Pull-based。在Push-based当集群中某一节点A完成一个工作后，随机的从其它节点B并向其发送相应的消息，节点B接...
2019-11-02 18:53:38
3872
原创 kafka部署安装
Kafka集群环境搭建部署1 Kafka的安装部署需要安装jdk[root@kafka-1 ~]# rpm -ivh jdk-8u191-linux-x64.rpm2 部署zookeeper创建zookeeper的data目录和logs目录[root@kafka-1 ~]# mkdir /opt/elk/kafka/zookeeper/{data,logs} –p创建myi...
2019-10-25 11:13:47
235
原创 docker使用方法
docker的使用5.1从docker镜像仓库获取镜像的命令docker pull [选项] [Docker Registry 地址[:端口号]/]仓库名[:标签]Docker 镜像仓库地址：地址的格式一般是 <域名/IP>[:端口号] 。默认地址是 DockerHub。下载gitlab镜像docker pull gitlab/gitlab-ce:latest下...
2019-10-25 11:13:30
345
原创 prometheus安装部署
Prometheus环境搭建1 安装prometheus1.1将prometheus安装包上传到服务器的/usr/local目录下，进行解压[root@prometheus-1 local]# lsbin etc games include lib lib64 libexec prometheus sbin share src[root@prometheus...
2019-10-25 11:13:14
309
原创 实现elk冷热日志分离
实现elk冷热日志分离方法一：修改elasticsearch.yml配置文件的信息如下所示：Master-node1 节点文件信息如下所示：[root@master-node1 ~]# cat /etc/elasticsearch/elasticsearch.yml | grep -v "#" | grep -v "^$"cluster.name: "es"node.nam...
2019-10-23 15:42:32
251
原创 elk查询
Elk的查询使用方法1 elk通过调用其api的使用方法elasticsearch官网提供了这个cat的api方法，具体使用如下：elasticsearch本身提供了9200端口（如果未做修改的话）,可以在es的ip和端口后加/_cat查看可用的cat api以下为列举出的一般用法，更多用法可以在/_cat来查看1.1 /_cat/indices?index=a_log_*&a...
2019-10-23 15:42:23
398
原创 kafka与elk对接
1 kafka集群环境搭建部署完毕2 安装部署logstash，可以参考elk环境部署修改logstash的相关配置文件，修改内容如下所示修改/etc/logstash/conf.d/logstash.conf配置文件[root@logstash-4 conf.d]# cat logstash.confinput { kafka { bootstrap_serv...
2019-10-23 15:42:16
149
原创 prometheus对接influxdb
influxDB介绍(翻译自官网)InfluxDB是一个时间序列数据库，旨在处理高写入和查询负载。 它是TICK堆栈的组成部分。 InfluxDB旨在用作涉及大量带时间戳数据的任何用例的后备存储，包括DevOps监控，应用程序指标，物联网传感器数据和实时分析。以下是InfluxDB目前支持的一些功能，使其成为处理时间序列数据的绝佳选择: 专为时间序列数据编写的自定义高性能数据存...
2019-10-23 15:41:42
983
原创 部署alertmanager
部署alertmanager1 部署完成elk集群或者单节点2 创建用户# useradd prometheus# chown -R prometheus:prometheus /usr/local/alertmanager# vim /usr/lib/systemd/system/alertmanager.service[Unit]Description=Alertm...
2019-10-23 15:41:24
238
转载 容器与虚拟机对比
容器简介什么是容器一句话概括容器：容器就是将软件打包成标准化单元，以用于开发、交付和部署。容器镜像是轻量的，可执行的独立软件包，包含软件运行所需的所有内容：代码，运行时环境，系统工具，系统库和设置。容器化软件适用于基于Linux和Windows的应用，在任何环境中都能够始终如一地运行。容器赋予了软件独立性，使其免受外在环境差异（例如，开发和预演环境的差异）的影响，从而有助于减少...
2019-04-21 02:01:43
6892
转载 容器简介
容器简介什么是容器一句话概括容器：容器就是将软件打包成标准化单元，以用于开发、交付和部署。容器镜像是轻量的，可执行的独立软件包，包含软件运行所需的所有内容：代码，运行时环境，系统工具，系统库和设置。容器化软件适用于基于Linux和Windows的应用，在任何环境中都能够始终如一地运行。容器赋予了软件独立性，使其免受外在环境差异（例如，开发和预演环境的差异）的影响，从而有助于减少...
2019-04-19 09:25:32
759
原创 Prometheus监控elk实现
Prometheus监控elk实现1 elk环境以及prometheus环境已经部署完成2 下载第三方监控插件，实现prometheus与elk的对接插件下载地址： https://github.com/vvanholl/elasticsearch-prometheus-exporter/releases选择对应的elk版本进行下载，将其解压后存放在/usr/share/elast...
2019-04-19 09:24:25
5133
转载 grok-ruby
RUBY_LOGLEVEL (?:DEBUG|FATAL|ERROR|WARN|INFO)RUBY_LOGGER [DFEWI], \[%{TIMESTAMP_ISO8601:timestamp} #%{POSINT:pid}\] *%{RUBY_LOGLEVEL:loglevel} -- +%{DATA:progname}: %{GREEDYDATA:message}
2019-04-16 08:49:18
177
原创 通过日志里的时间戳替换logstash处理生成的时间戳
日志格式如下所示：Apr 12 01:09:55 swarm1 chronyd[599]: Source 5.79.108.34 onlineApr 12 01:09:55 swarm1 chronyd[599]: Source 13.55.50.68 onlineApr 12 01:09:55 swarm1 nm-dispatcher: req:8 'connectivity-chang...
2019-04-12 16:09:25
2516
转载 grok-pattern-syslog
SYSLOG5424PRINTASCII [!-~]+SYSLOGBASE2 (?:%{SYSLOGTIMESTAMP:timestamp}|%{TIMESTAMP_ISO8601:timestamp8601}) (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:SYSLOGPAMSESSION %{SYSLOGBASE...
2019-04-12 16:07:20
691
转载 grok-haproxy
## These patterns were tested w/ haproxy-1.4.15## Documentation of the haproxy log formats can be found at the following links:## http://code.google.com/p/haproxy-docs/wiki/HTTPLogFormat## http://...
2019-04-12 08:48:03
180
转载 grok-pattern
USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))NUMBER (?:%{BASE10NUM})BASE16NUM (?<![0-9A-Fa-f])(?...
2019-04-12 08:47:01
851
转载 grok过滤规则--firewalld
# NetScreen firewall logsNETSCREENSESSIONLOG %{SYSLOGTIMESTAMP:date} %{IPORHOST:device} %{IPORHOST}: NetScreen device_id=%{WORD:device_id}%{DATA}: start_time=%{QUOTEDSTRING:start_time} duration=%{INT...
2019-04-12 08:46:08
685
转载 Kafka Shell基本命令（包括topic的增删改查）
Kafka Shell基本命令（包括topic的增删改查）创建kafka topic 查看所有topic列表 查看指定topic信息 控制台向topic生产数据 控制台消费topic的数据 查看topic某分区偏移量最大（小）值 增加topic分区数 删除topic，慎用，只会删除zookeeper中的元数据，消息文件须手动删除 查看topic消费进度创建kafka topi...
2019-04-12 08:21:33
273
转载 LVS负载均衡（LVS简介、三种工作模式、十种调度算法
LVS负载均衡（LVS简介、三种工作模式、十种调度算法）一、LVS简介 LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的We...
2019-04-11 08:48:09
179
原创 Swarm安装部署
Swarm安装部署1 swarm的特点对外以Docker API接口呈现，这样带来的好处是，如果现有系统使用Docker Engine，则可以平滑将Docker Engine切到Swarm上，无需改动现有系统。▲Swarm对用户来说，之前使用Docker的经验可以继承过来。非常容易上手，学习成本和二次开发成本都比较低。同时Swarm本身专注于Docker集群管理，非常轻量，占用资源也...
2019-04-09 08:39:42
1471
原创 安装nginx
1 安装部署一些依赖安装包yum install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel2 查看是否已经安装pcre安装包rpm –qa | grep pcre3 下载nginx安装包及进行解压编译进入到解压的nginx安装包目录下执行如下命令进行编译执行./configure &...
2019-04-08 15:02:23
97
原创 windows下安装django
1 下载python windows安装包，安装部署，将python的安装路径添加到windows的系统环境变量中，如：C:\Users\user\AppData\Local\Programs\Python\Python37-32;2 下载django的tar包安装包，将安装包解压到某一目录下，ctrl+r运行windows的console，进入到django安装包的目录下，执行python ...
2019-04-07 20:21:45
351
转载 openstack管理指令
前言在openstack环境中提供了多种操作虚拟机的方法，有最简单直接的dashborad界面，有不直观但高效的命令行，还有进阶版的postman调用openstack restfulapi和命令行中使用curl命令调用restful api，最终杀器是代码中调用api接口。总结一下有如下几种方法能够操作虚拟机，或者说操作openstack云环境。1.horizon界面2.opensta...
2019-04-07 10:31:56
3183
转载 Flannel网络原理
Flannel网络原理overlay网络简介overlay（又叫叠加网络、覆盖网络）简单理解就是把一个逻辑网络建立在一个实体网络之上。就好比C/S架构是overlay internet、最开始网络overlay 电话网络、现在语音通信overlay ip 网络。我们现在说的overlay是将二层数据包重新封装在UDP中。比如IPsec over GRE就是一种嵌入式封装。覆盖网络就是应...
2019-04-06 20:21:42
723
转载 Route实现容器跨主机通信
Route实现容器跨主机通信1 试验环境试验环境如下所示：Node1节点：宿主机ip 192.168.248.172 容器网段10.10.0.1/16 a起的容器ip是10.10.0.2Node2节点宿主机ip 192.168.248.173 容器网段10.20.0.1/16 b起的容器ip是10.20.0.22 修改docker的配置文件修改docker的配置...
2019-04-06 20:09:11
222
原创 实现elasticsearch-sql插件的安装
该插件作用为实现使用基本的sql语句进行日志信息的查询elasticsearch-sql该插件可以通过基本的sql语句进行日志信息的查询提取下载elasticsearch-sql该插件，对应的下载地址为https://github.com/NLPchina/elasticsearch-sql将下载的安装包解压，将解压的文件目录中的文件移动到到elasticsearch的如下所示目录中...
2019-03-31 10:49:29
708
原创 实现定时删除过期的索引文件
编写脚本，例如如下脚本[root@master-node1 ~]# cat indexdelete.sh#! /bin/bashdate=`date -d "8 days ago" +%Y.%m.%d`echo $datecurl -XDELETE "192.168.101.17:9200/*-${date}"该脚本只是最简单的实现删除8天之前的索引，可以配合crontab...
2019-03-31 10:48:09
378
原创 实现elk日志分离
elk实现对日志的分离修改filebeat服务器filebeat的配置文件如下所示[root@data-node2 filebeat]# cat filebeat.yml | grep -v "#" | grep -v "^$"filebeat.prospectors:- input_type: log enabled: true paths: - /var...
2019-03-31 10:43:50
556
转载 es的基本配置文件
elasticsearch.yml是es的基本配置文件，log4j2.properties是es的日志配置文件，es也是使用log4j来记录日志的下面是elasticsearch.yml文件的解释：cluster.name:配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.n...
2019-03-22 16:47:44
4701
转载 Elasticsearch 对文档操作时的分片交互过程分析
Elasticsearch 对文档操作时的分片交互过程分析路由文档到分片1文档路由到分片上：一个索引由多个分片构成，当添加（删除、修改）一个文档时，Elasticsearch就需要决定这个文档存储在哪个分片上，这个过程就称为数据路由（routing）。2 路由算法：shard = hash(routing) % number_of_primary_shards示例：一个索引，3个 pri...
2019-03-22 16:45:29
165
转载 Elasticsearch 分片和副本机制与单点、多点环境创建index解析
Elasticsearch 分片和副本机制与单点、多点环境创建index解析分片和副本机制 1 index 包含多个 shard（分片），创建 index 时可以在settings中设置分片数，不设置时默认是5个。 2 每个 shard 都是一个最小工作单元，承载部分数据；每个 shard 都是一个 lucene 实例，并且具有完整的建立索引和处理能力。 3 增减节点...
2019-03-22 16:44:48
802
转载 filebeat配置参数详解
################### Filebeat Configuration Example ###################################################### Filebeat ######################################filebeat: # List of prospectors to fe...
2019-03-22 16:43:51
2371
转载 二层+三层网络
在企业的网络结构选择中，有二层网络和三层网络结构两种选择。在这里的二层、三层是按照逻辑拓扑结构进行的分类，并不是说ISO七层模型中的数据链路层和网络层，而是指核心层，汇聚层和接入层，这三层都部署的就是三层网络结构，二层网络结构没有汇聚层。只有核心层和接入层的二层网络结构模式运行简便，交换机根据MAC地址表进行数据包的转发，有则转发，无则泛洪，即将数据包广播发送到所有端口，如果目...
2019-03-10 10:56:56
2505
转载 openvswitch
OVS常用操作：1.添加网桥：ovs-vsctl add-br 交换机名2.删除网桥：ovs-vsctl del-br 交换机名3.添加端口：ovs-vsctl add-port 交换机名 端口名（网卡名）4.删除端口：ovs-vsctl del-port 交换机名 端口名（网卡名）5.连接控制器：ovs-vsctl set-controller 交换机名 tcp...
2019-03-10 10:54:44
655
原创 ceph性能指标
Ceph性能调优参数1 GLOBAL参数调优集群范围内的配置参数定义在ceph的配置文件中，任何一个ceph守护进程启动的时候都会遵循已定义的设置。这些配置参数全部放在/etc/ceph/ceph.conf文件中，这个文件有一个global部分和若干个服务类型部分，任何时候一个ceph服务启动，都会应用[global]部分，以及进程特定部分的配置。1.1 network建议使用两...
2019-02-23 22:50:47
2975
1
转载 mysql讲解
一、mysql数据库中的存储引擎mysql在创建数据表时可以通过engine关键字设置存储引擎的类型，也可以通过alter命令来修改表的存储引擎。可以通过show engines命令来查看当前mysql数据库支持的存储引擎的类型，一般场景的存储引擎有：InnoDB、MyISAM、MEMORY、BLACKHOLE、TokuDB和MySQL Cluster。InnoDB存储引擎是mysql5....
2019-02-23 22:45:32
272
转载 elk配置
elasticsearch.yml是es的基本配置文件， log4j2.properties是es的日志配置文件，es也是使用log4j来记录日志的下面是elasticsearch.yml文件的解释：cluster.name:配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.n...
2019-02-23 09:27:00
283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人