自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(298)
  • 资源 (15)
  • 论坛 (2)
  • 问答 (1)
  • 收藏
  • 关注

原创 zabbix 监控hbase、es、hadoop进程,发出报警和远程重启服务。

需求:当我们的服务器部署了很多服务后,和服务器数量过多时,我们怎么去管理所有的服务,以及服务进程停止,第一时间发出报警,然后先自动远程执行服务。1、下面我们举个例子,zabbix监控报警和自动执行服务的启动指令。对于hadoop,hbase,es这样的集群部署,首先我们需要创建模板,将模板套进该集群组中。具体情况如下,这里我们直接讲过程,具体的每一步实现,在该系列博客中有讲到。这样每个集群组中机器...

2018-06-12 06:32:22 4575

原创 再生龙软件制作镜像

1、用再生龙软件装系统,首先我们我需要获取一个安装好的镜像。首先是要有一台已经安装好了系统,我们将该系统备份一下。具体操作如下图所示。输入密码后的界面如下,选择第二个。...

2018-03-27 04:21:10 4671

原创 自动化部署脚本

1、自动化部署脚本如下:init.sh脚本#获取当前脚本所在的目录并赋值给变量bin,/opt/xxx/xxxbin=`dirname "${BASH_SOURCE-$0}"`bin=`cd "$bin"; pwd`PORT=3222STEP=1ENDSTEP=9SSH='/usr/bin/ssh'#SSHID=`netstat -ntlp | grep sshd | gre...

2018-03-27 03:37:15 1555

原创 再生龙复制安装centos系统

1、在自己本机上设置ip地址和华为服务器上的地址在同一个网段。 在浏览器中输入改ip地址,服务器上写有该地址,访问后可以看到如下画面。 输入服务器上写的ip和华为服务器的密码,登录页面如下所示: 这一步我们是要远程连接服务器,前提本地要安装了java。 如果上述操作无法开启一个远程连接服务器的服务,则按照如下操作去解决。 下载kvm去连接服务器 下载解压后如下图所示,此时有一根网

2018-03-21 02:31:32 3308

原创 Zabbix的安装

本文档主要内容:Centos6.5Zabbix3.0.9 LTSphp 5.6 (require 5.4.0 or later not 7.0Apache (require 1.3.12 or later)MySQL 5.3 (require 5.0 or later)Apache安装: yum install httpd* 启动: service httpd ...

2018-02-08 10:39:11 708

原创 mysql的主从复制和延迟复制

1、安装需求:操作系统:centos6两台虚拟机:bfd01 192.168.55.100 (主)bfd02 192.168.55.101 (从)mysql:mysql-5.7.20-linux-glibc2.12-x86_642、master端配置修改及操作2.1、修改主服务master:#[必须]服务器唯一ID,默认是1,一般取IP最后一...

2017-12-18 05:52:50 434

原创 自动化部署postgresql脚本

[root@bfd01 shell]# cat install_postgresql.sh #!/bin/bash#postgresql安装包名POSTGRESQL_VERSION='postgresql-9.6.3'#postgresql安装的位置POSTGRESQL_INSTALL_PATH='/opt/postgresql'#存放二进制包的路径SOFTWARE_PATH=...

2017-12-17 03:15:26 1087

原创 自动化部署mysql5.6版本

#!/bin/bash#系统版本号RELEASE=''#mysql安装包名MYSQL_VERSION='mysql-5.6.39-linux-glibc2.12-x86_64'#mysql安装的位置MYSQL_INSTALL_PATH='/usr/local'#存放二进制包的路径SOFTWARE_PATH='/opt/software'#获取操作系统的版本号RELEA...

2017-12-16 05:56:11 322

原创 1、saltstack安装补充

1、saltstack官方文档CentOS.6版本:rpm --import https://repo.saltstack.com/yum/redhat/6/x86_64/latest/SALTSTACK-GPG-KEY.pub还有之前部署的repo文件。,然后yum update 但是不需要真的跟新,到叫你升级700多m的时候选择N[root@hadoop1 /]vim /etc/yum.r

2017-11-28 01:58:00 213

原创 zabbix监控elasticSearch集群健康值green yellow red状态

1、需求:需要zabbix对es集群的健康值进行监控。因为在有的时候几点并没有挂掉,但是es的集群健康值已经百年城red状态,而我们之前监控的进程是无法监控到es的集群状态。2、首先我们可以根据es的指令看到es的集群状态curl 192.168.14.148:9200/_cat/health3、我们可以写一个python的脚本来获取这个green的值,然后就和zabbix自定义监控项的步骤是一样的

2017-11-13 23:56:39 5606 4

原创 zabbix创建触发器、action,发送报警邮件

1、创建触发器点击>>Configuration>>Hosts>>Triggers 然后进去后我们可以选择点击右上角的Create trigger按钮创建,也可以选择系统的自带的item.。如下图所示。 点击创建触发器按钮,我们按照以下方式进行创建,其中表达式是不需要手动去写,是可以自动生成的,点击add按钮: 点击后的页面如下: 触发器创建之后我们可以看到列表中有一个我们刚刚创建的触发器,

2017-06-29 22:37:39 3167

原创 zabbix使用sendEmail实现邮件报警

sendEmail实现邮件报警安装sendEmailwget http://caspian.dotconf.net/menu/Software/SendEmail/sendEmail-v1.56.tar.gztar -xf /opt/software/zabbix/sendEmail-v1.56.tar.gz -C /opt编写发送报警邮件脚本#!/bin/bashfrom=yining

2017-06-29 22:36:19 663

原创 salt一键部署jdk

1.准备工作我们来看一下一键部署jdk的脚本。[root@bgs-5p173-wangwenting jdk]# more init.sls jdk-file: file.managed: - source: salt://jdk/jdk1.8.0_74.tar.gz //这里的salt:// 表示的salt的工作目录,在/etc/salt/master中file_ro

2017-05-21 14:00:31 573

原创 GitLab Pipline关键字详解

da

2020-12-22 23:49:17 20

原创 gitlab-runner安装注册

# gitlab-runner registerRuntime platform arch=amd64 os=linux pid=28542 revision=8fa89735 version=13.6.0Running in system-mode. Enter the...

2020-12-18 09:14:25 55

原创 K8S健康检查--探针

参考链接https://segmentfault.com/a/1190000021402257https://jimmysong.io/kubernetes-handbook/guide/configure-liveness-readiness-probes.htmlhttps://www.jianshu.com/p/d87a50272310背景:在k8s部署服务的时候,会出现pod是running状态,也可以进入到容器中,但是服务端口没有起,尤其再是小组件,没有受到关注的情况下,.

2020-12-11 16:45:17 43

原创 gitlab的部署

1 准备工作关闭防火墙 关闭selinux 安装依赖库2 安装步骤安装依赖库systemctl stop firewalld systemctl disabled firewalldyum install curl openssh-server postfix cronie配置yum源进行安装# vim /etc/yum.repos.d/gitlab-ce.repo[gitlab-ce]name=Gitlab CE Repositorybaseurl=http

2020-12-11 09:48:28 36

原创 harbor的高可用部署

harbor镜像仓库部署地址上面的链接地址描述了如何部署一个单机版的harbor私有镜像仓库。下面介绍高可用版本harbor的部署。从harbor的官网可以看到,harbor依赖一些基础组件,如果做高可用,则需要对依赖的租出组件redis,postgresql,nginx等。本文采用的高可用方案是Harbor的双主复制,该方案比较简单,需要搭建至少两个Harbor节点,并且节点之间能够互相复制,然后通过VIP代理Harbor节点提供外部访问。示意图如下:准备工作我这里使用了2..

2020-12-10 15:04:42 52

转载 Nginx修复漏洞打补丁过程

参考他人博客

2020-11-30 16:41:44 69

原创 rke安装k8s集群

节点规划构建集群的第一步是将拥有的服务器按节点功能进行划分,下面是节点规划情况。IP 角色 192.168.120.10 部署节点 192.168.120.11 master 192.168.120.12 master 192.168.120.13 master 192.168.120.14 192.168.120.15 cluster.yml文件配置内容...

2020-11-23 18:09:20 89

原创 harbor私有镜像仓库部署和使用

安装harbor的条件:1、docker-compose,Need to install docker-compose(1.18.0+) by yourself first and run this script again.2、docker版本要大于Need to upgrade docker package to 17.06.0+.下载docker-composecurl -L "https://github.com/docker/compose/releases/download/.

2020-11-08 15:54:38 129

原创 docker 保留关键字

docker 保留关键字# cat Dockerfile # 基础镜像,基于centosFROM centos# 配置环境变量ENV MY_PATH /usr/local# 设置默认的工作目录WORKDIR $MY_PATH# 执行两条安装语句来安装vim、net-toolsRUN yum -y install vimRUN yum -y install net-tools# 容器启动时运行的命令CMD echo $MY_PATHCMD /bin/bashCM.

2020-11-03 17:09:59 86

原创 nginx机器conntrack规避问题

## 临时解决经测试, `iptables -t nat -nvL` 命令会自动加载如下模块```bashiptable_natnf_nat_ipv4nf_conntrack_ipv4nf_defrag_ipv4nf_natnf_conntrack```模块间有依赖,卸载模块的顺序与方法如下```bashrmmod iptable_nat nf_nat_ipv4 nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat nf_co...

2020-11-02 14:22:25 98

转载 docker的网络模式

https://juejin.im/post/6868086876751085581

2020-10-27 10:02:01 73

转载 redis碎片整理(转载)

https://www.cnblogs.com/any-way/p/12552089.html

2020-09-21 13:49:33 93

原创 zabbix企业微信群告警

由于邮件告警很多人会忽视,所以选择企业微信告警。下面介绍如何去配置。1.注册企业微信,网上教程很多,可直接参考。2.创建应用,如下图所示3.在企业微信中拉一个群,然后添加机器人告警"<<运维告警>>"。群机器人的名称就是"运维告警"。3.、 在zabbix告警目录新建wechat.py脚本#!/usr/bin/python# -*- coding: utf-8 -*-import requestsimport jsonimport sys

2020-08-16 22:07:28 168

原创 elaticsearch集群数据迁移

第三方工具迁移或elasticsearch本身快照方式迁移,这里以第三方工具迁移为例安装elaticsearch-dump# 下载安装包wget https://npm.taobao.org/mirrors/node/v10.15.3/node-v10.15.3-linux-x64.tar.gztar xf node-v10.15.3-linux-x64.tar.gz#设置软连接ln -s node-v10.15.3-linux-x64 node #配置环境变量vim /etc

2020-08-12 18:12:50 89

原创 服务器数据盘初始化

---- name: disk | primary | partition parted: device: "{{ item.device }}" number: "{{ item.number }}" label: gpt part_start: "{{ item.start }}" part_end: "{{ item.end }}" part_type: primary state: present with_items: -.

2020-08-10 14:20:18 70

原创 ELK收集docker中的日志

容器中的日志在哪?上图可以看到docker容器中组件的位置以及组件对应的日志位置。其中e0d336cc一串的字符串就是容器id。filebeat配置文件:filebeat.inputs:- type: docker containers.ids: - "e0d336cc9f7b1403ede7ac1008003558b270ed3ee7ce946ba4b03b9e3cf3c260" tags: ["access"]output.elasticsearch: ..

2020-08-02 20:08:12 257

原创 ELK通过中间件缓存日志

目录1. redis缓存中间件2 kafka缓存中间件1. redis缓存中间件官网配置如下,找到对应的版本,然后找output模块中redis的配置信息:filebeat.inputs:- type: log enabled: true paths: - /var/log/nginx/access.log json.key_under_root: true json.overwrite_keys: true tags: ["access"]

2020-07-30 17:04:06 116

原创 filebeat将多行日志转换成一行输出

有的日志比较特殊,是多行数据为一个整体信息,这时候就需要将多行日志转换成一行日志,如下图所示,7行数据才是一条整体的日志。如果正常去将日志在kibana中展示就会出现下面的情况,一条日志分成了7条数据,不便于我们观察和记录。官网配置如下,将多行数据转换成一行日志记录:根据官网上的解释,我们配一下filebeat.yml的内容filebeat.inputs:###################收集access日志#########################- ...

2020-07-30 10:44:30 235

原创 filebeat收集json格式的日志

正常情况下,我们收集到的日志的格式可能和我们要求的不太一样,所以需要将日志按照我们要求的格式进行展现,在kibana中也可以直接过滤搜索。查找对应的版本,我的是7.3版本的,官网的配置如下:filebeat.inputs:- type: log enabled: true paths: - /var/log/nginx/access.log json.key_under_root: true json.overwrite_keys: true json.mes

2020-07-29 14:16:02 1010

原创 keepalived的抢占模式和非抢占模式

nginx+keepalived的主备模式,以及双主模式之前已经介绍过,下面主要讲解keepalived的非抢占模式。节点类型全部是 BACKUP, BACKUP-1 故障时,BACKUP-2 会抢占 VIP, BACKUP-1 从故障中恢复后,不会从 BACKUP-2 抢回 VIP。优点:故障恢复时,可避免 VIP 切换造成的服务延迟。vrrp_instance INS_11 { state BACKUP ## 各节点类型都是 BACKUP nopreempt ## 非抢占

2020-07-28 10:58:21 608

原创 logrotate日志切割

1 logrotate原理一般在服务器初始化的时候这些工具都已经存在的,服务的主配置文件:/etc/logrotate.conf,在主配置中可以看到include /etc/logrotate.d 说明可以将用户定义的配置直接放到这下面,系统会自动为我们执行。logrotate的原理就是一个cron job;每天定时触发执行对应脚本;可在系统日志中查看到相关执行的日志信息。2logrotate每小时切割日志logrotate切割nginx日志,创建nginx的日志切割文件,放在目录/e...

2020-07-24 15:51:51 112

原创 python3 读取excel表中的数据并插入到数据库中

#!/usr/bin/python# -*- coding: utf-8 -*-import pymysqlimport pandas as pdimport sysdef get_assets(): assets = pd.read_excel(sys.argv[1]) ip = assets ['IP'].astype('str') price = assets ['金额'].astype('str') ip_price_dict = dict(zip(i.

2020-06-05 10:37:07 386 1

原创 k8s控制器

apiVersion: apps/v1kind: DaemonSetmetadata: name: myapp-ds #labels: # app: myappspec: selector: matchLabels: app: myapp template: metadata: labels: app: myapp spec: containers: - name: myappc .

2020-05-26 14:19:10 54

原创 django分页

django分页<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style> /*解决页面浮动后的塌陷问题*/ .clearfix...

2020-05-05 09:36:21 104

原创 nginx+keepalived高可用

目录1 keepalived的安装2.场景演练3 高可用验证之前写过nginx核keeaplived的相关部署,以及nginx的负载均衡。那么当nginx服务器挂了的时候,再完美的负载均衡也起不到作用了,下面介绍keepalived实现nginx高可用1 keepalived的安装之前有写keepalived的编译安装,centos系统已经把keepalived集成了,直接...

2020-02-28 15:50:44 237

原创 sort

4. 差值比较sort key.txt |uniq -c |sort -r >11.txt 2 aaaa 1 abc 1 123 1 456 cat key1.txt key2.txt |sort |uniq -u >file.txt # 比较两个文件的差值...

2020-01-16 11:23:09 146

转载 redis内置集群通信机制

你能聊聊redis cluster集群模式的原理吗?1、面试题redis集群模式的工作原理能说一下么?在集群模式下,redis的key是如何寻址的?分布式寻址都有哪些算法?了解一致性hash算法吗?2、面试官心理分析在以前,如果前几年的时候,一般来说,redis如果要搞几个节点,每个节点存储一部分的数据,得借助一些中间件来实现,比如说有codis,或者twemproxy,都有。有一些r...

2020-01-09 11:03:48 456

dashboard .zip

k8s的16版本安装的时候,dashboard 出现k8s dashboard the server could not find the requested resource的问题。重新换一个2.0版本的dashboard即可。

2019-12-11

instantclient_12_2.rar

在navicat安装目录中解压压缩包,并在navicat客户端配置后,即可用navicat远程连接oracle

2019-05-09

rvm安装ruby2.4.4

在安装redis集群的时候,我们按照网站上的部署文档需要安装rvm,然后再安装ruby2.4.4会导致ctrl+c功能失效,解决起来也比较恶心。现在这里的rvm的tar包,解压后在rvm/rubies/,就已经有了ruby2.4.4配置一下环境变量ruby就相当于安装好了。

2018-12-05

自动化部署脚本

自动化初始系统参数,优化系统,一键部署jdk,python等相关组件

2018-09-11

percona-xtrabackup

percona-xtrabackup包是对mysql中的数据库进行备份。。

2018-08-09

percona-zabbix-templates

percona-zabbix-templates模板,导入到zabbix中,对mysql多方面各个指标进行监控。

2018-08-09

vmvare激活注册码

vmvare注册码是为了激活vmvare工具,一次性激活,永久使用。

2018-07-31

SQLyog客户端注册码

SQLyog客户端注册码。确保SQLyog可以连接mysql数据库。

2018-07-31

SQLyog数据库客户端

SQLyog是连接mysql的一个客户端,类似于navicat工具。

2018-07-31

elasticsearch-head.tar.gz

ElasticSearch-head(后续简称es-head)是ElasticSearch的一个插件,提供了es 的可视化操作界面.

2018-07-30

mysql自动化部署脚本

自动化部署mysql脚本适合的版本为mysql5.5和5.6系列。

2018-07-26

codis部署文档

codis的高可用部署文档,经测试是可以使用的。。。。。

2018-07-26

neo4j部署文档

neo4j的部署文档,以及官网的下载地址都包括。。。。。。

2018-07-26

zabbix.conf

/etc/httpd/conf.d/zabbix.conf ,Zabbix monitoring system php web frontend 配置时区等。

2018-07-07

ldapd的inetorgperson.schema文件

安装ladp的时候需要替换的文件。

2017-10-21

wyl9527的留言板

发表于 2020-01-02 最后回复 2020-01-02

salt 's1' cmd.script '/opt/wyl/order/kafkastart.sh'

发表于 2017-05-25 最后回复 2018-05-18

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除