忆网-CSDN博客

原创在 Kubernetes 上搭建 EFK 日志收集系统

Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。

2020-07-30 20:30:24 3249 3

使用 Jenkins Pipeline 来自动化部署一个 Kubernetes 应用的方法，在实际的项目中，往往一个代码仓库都会有很多分支的，比如开发、测试、线上这些分支都是分开的，一般情况下开发或者测试的分支希望提交代码后就直接进行 CI/CD 操作，而线上的话最好增加一个人工干预的步骤，这就需要 Jenkins 对代码仓库有多分支的支持，当然这个特性是被 Jenkins 支持的。Jenkinsfile学习连接：https://www.jenkins.io/doc/book/pipeline/synt

2020-06-30 13:19:01 2357

原创基于 Jenkins2.0 的 CI/CD (二)

Jenkins Pipeline 介绍要实现在 Jenkins 中的构建工作，可以有多种方式，我们这里采用比较常用的 Pipeline 这种方式。Pipeline，简单来说，就是一套运行在 Jenkins 上的工作流框架，将原来独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排和可视化的工作。Jenkins Pipeline 有几个核心概念：Node：节点，一个 Node 就是一个 Jenkins 节点，Master 或者 Agent，是执行 Step 的具体运行环境，比

2020-06-30 13:15:02 356

原创基于 Jenkins2.0 的 CI/CD (一)

提到基于Kubernete的CI/CD，可以使用的工具有很多，比如Jenkins、Gitlab CI已经新兴的drone之类的，这里会使用大家最为熟悉的Jenkins来做CI/CD的工具。安装既然要基于Kubernetes来做CI/CD，这里需要将 Jenkins 安装到 Kubernetes 集群当中，新建一个 Deployment：(jenkins_deployment.yaml)apiVersion: apps/v1kind: Deploymentmetadata: name: de

2020-06-30 13:05:53 388

原创 zabbix监控多实例TomCat（自动发现）

案例：一台主机部署多实例tomcat，端口不同，协议不同，路径不同解决方案：zabbix自动发现工具下载：cmdline-jmxclient-0.10.3.jar监控项：65项，较为全面，可根据自己项目需求，具体使用监控名称键值应用集 {#JAVA_NAME} ActiveCount 当前连接池数量： tomcat.DruidDataSource.stat...

2019-08-27 16:31:26 925 3

原创基于麒麟v10-sp3离线搭建CDH6.3.1

7.9SLES12 SP5UbuntuUbuntu由于下载的CDH版本是不支持麒麟OS的，CM在分配CDH安装包是会校验操作系统版本，主要是指安装包后缀 el7 / el6等，麒麟操作系统后缀是ky10，不在CDH支持列表中。这种方式不是直接获取操作系统信息，故而不能通过修改/etc/redhat-release解决一、解决方案1）修改代码。由于CDH是闭源产品修改代码比较复杂。2）由于CDH本身不支持an后缀直接返回unknown，所以可以通过构造一个对应的parcel解决。

2023-08-01 16:59:42 1570 4

原创使用阿里源yum安装kubernetes

本文将带领读者一起, 参照着Kubernetes官方文档, 对其安装部署进行讲解. Kubernetes更新迭代很快, 书上、网上等教程可能并不能适用于新版本, 但官方文档能.如何阅读Kubernetes官方安装指南并搭建一个Kubernetes环境.Kubernetes安装过程中的注意事项.避过常见的坑.熟悉Linux命令.知道Kubernetes是用来干什么的 (不然装它干啥(ಥ_ಥ)).知道Docker中文文档。

2023-03-09 12:19:53 1822

原创 Centos7.x 安装 OpenSsh-8.4 sp1

# Centos7.x 安装 OpenSsh-8.4 sp1下载地址## RPMS下载链接：https://pan.baidu.com/s/1ZY8p97HgMWnJbpCqD8ZliQ 提取码：8od4 ## 安装```bash# 将下载的文件放置/home/admin 目录下$ cd /home/admin/ $ tar -xvf \[centos7.0-7.7]openssh8.4sp1.tar $ cp x86_64/ssh.repo /etc/yum.repo.d/.

2021-08-12 10:26:59 261

原创 Git客户端设置全局hooks规范提交日志记录

Git客户端设置全局hooks规范提交日志记录背景：项目由于git进行管控，对commit的日志需要进行规范化输出，git的hooks默认管控单仓库，在.git/hooks里面，默认关闭，如果启用的话将后缀.sample去掉。系统提供的commit检验是git文本的最后是否有空格，根据规定，需要进行规则自定义，实现项目提交记录如：e.g:(任务号前+t,BUG号前+b)[b1372]解决:…[t1373]增加:…创建脚本commit-regulars(正则)[\[【][btBt][0

2020-12-21 10:01:08 1049

翻译高大上的测试报告-Allure开源框架探索

前言《Rest Assured+TestNg实现数据驱动的接口测试》一文，笔者使用ReportNg默认的报告模板，虽说自定义模板后能满足基本诉求，但是仍显得不够档次，遂想用其他优秀的report框架替换之。久闻Allure大名，特抽时间做了一番探索。Allure介绍Allure框架是一种灵活的轻量级多语言测试报告工具，它不仅能够以简洁的web报告形式显示已测试的内容，而且允许参与开发过程的每个人从测试的日常执行中提取最大限度的有用信息。多语言：Java Python JavaSc

2020-08-10 19:30:02 1697

原创 linux 按天切割日志(logrotate)

logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把它叫做“转储”。我们可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过 cron 程序来执行安装后系统会定时运行logrotate，一般是每天一次。系统是这么实现按天执行的。crontab会每天定时执行/etc/cron.daily目录下的脚本，而这个目录下有个文件叫logrotate。在centos上脚本内容是这样的：/usr/sbin/logrotate /etc/logrotate.co

2020-06-30 20:46:15 2334

原创 Centos7.x 配置sub-interface (用于docker macvlan)

本文源于测试用sub-interface实现多macvlan网络的实验：现有两台虚拟机：host1：10.254.254.223host2：10.254.254.224以下操作在host1和host2上基本相同1.配置多个sub-interface首先开启网卡的promisc模式ip link set ens33 promisc on然后cp ifcfg-ens3...

2020-06-19 19:05:31 1067

原创 Docker搭建nexus并配置docker私有仓库

搭建Nexus是用于Maven私服的，不过在官网上发现最新的Nexus 3.x还支持Docker仓库了，所以使用docker来搭建一下Nexus查找镜像docker search nexus选取使用次数较多是镜像拉取镜像docker pull sonatype/nexus3查看拉取的镜像docker images启动容器docker run ...

2020-06-02 18:54:45 612

原创一键清理Nexus仓库

一键清理Nexus仓库现许多团队使用 Nexus 来管理 Docker 镜像，产品不断迭代，镜像仓库占用的磁盘空间也越来越大。由于 Nexus 的控制台并未提供批量操作镜像功能，清理镜像十分不便。本文分享一个清理 Nexus 中 Docker 镜像的小工具 — nexus-cli可参考 nexus-cli 的相关资料，nexus-cli GitHub、开发者博客原文、Nexus 官方博客文章下载脚本并授权wget https://s3.eu-west-2.amazonaws.com/nexu

2020-05-19 14:45:52 6229

原创 Flume-ng 启动提示"Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty"

Flume-ng 启动提示"Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty"[root@hadoop-master ~]# hbase -versionjava version "1.8.0_212"Java(TM) SE Runtime Environment (build 1.8.0_212-b10)Java HotSpot(TM) 64-Bit Server VM (build 25.

2020-05-12 10:32:38 3754 1

原创 vmware虚拟机扩容磁盘空间

主要步骤：vmware宿主机编辑虚拟机配置扩容服务器磁盘并启动虚拟机 fdisk新建分区 pvcreate新建物理卷 vgextend扩展卷组 lvextend扩容逻辑卷 xfs_growfs扩容文件系统1.fdisk新建分区[root@6_90 ~]# fdisk /dev/sda Welcome to fdisk (util-linux 2.23.2).Cha...

2020-04-30 13:43:29 306

原创阿里云Linux服务器挂载磁盘(大于等于2TB)

初始化云硬盘（大于等于2TB）操作场景本文以云硬盘容量大于等于2TB为例，提供云硬盘的初始化操作指导。关于云磁盘初始化场景的更多介绍，请参考初始化场景介绍。MBR 支持的磁盘最大容量为2TB，因此当为容量大于2TB的磁盘分区时，请采用 GPT 分区形式。对于 Linux 操作系统而言，当磁盘分区形式选用 GPT 时，fdisk 分区工具将无法使用，需要采用 parted 工具。前提...

2020-04-28 11:30:41 868

转载 Jenkins 更换插件源

插件更新URLhttp://mirror.esuni.jp/jenkins/updates/update-center.json更换后check urlDesign Language Success Blue Ocean Core JS Success Script Security Success Command Agent Launch...

2020-04-05 20:08:56 1423 1

原创 Ansible - 常用模块

ansible 常用模块 1) 主机连通性 # 批量添加SSH认证# 场景一：所有机器密码相同资源有限一台机器做测试 cat /etc/ansible/hosts [testserver] 172.16.66.3 # 执行命令 ansible all -m authorized_key -a "user=root key='...

2020-03-20 01:58:34 369

原创 Ansible - 命令详解

ansible-doc 命令ansible-doc 命令常用于获取模块信息及其使用帮助，一般用法如下： ansible-doc -l #获取全部模块的信息 ansible-doc -s MOD_NAME #获取指定模块的使用帮助我们也可以查看一下ansible-doc的全部用法： [root@centos ansible]# ansible-doc ...

2020-03-20 01:41:21 221

原创 Ansible - CentOS 安装

Ansible 任务执行Ansible 系统由控制主机对被管节点的操作方式可分为两类，即adhoc和playbook：ad-hoc模式(点对点模式) 　　使用单个模块，支持批量执行单条命令。ad-hoc 命令是一种可以快速输入的命令，而且不需要保存起来的命令。就相当于bash中的一句话shell。 playbook模式(剧本模式) 　　是Ansible主要管理方式，也是...

2020-03-20 01:37:19 192

原创 SaltStack 批量管理&安装使用

CentOs 下安装，master&minion1.添加epel源 # yum -y install epel 2.安装 master # yum -y install salt-master # salt-master的配置文件是/etc/salt/master配置： interface: 0.0.0.0 #绑定到本地的0.0.0.0地址 publish_por...

2020-03-19 15:56:46 281

翻译 Docker ELK+Filebeat安装与配置

环境说明linux CentOS Linux release 7.5.1804 (Core) docker Docker version 1.13.1 elk sebp/elk latest filebeat filebeat-6.4.0elk跟filebeat在同一台机器上架构 Elasticsearch 一个近乎实时查询的全文搜索引擎。Elasticsear...

2019-12-20 15:08:35 593

原创 Docerk安装Nexus3.x 并搭建私有仓库

Nexus介绍Nexus 是Maven仓库管理器，如果你使用Maven，你可以从Maven中央仓库下载所需要的构件（artifact），但这通常不是一个好的做法，你应该在本地架设一个Maven仓库服务器，在代理远程仓库的同时维护本地仓库，以节省带宽和时间，Nexus就可以满足这样的需要。此外，他还提供了强大的仓库管理功能，构件搜索功能，它基于REST，友好的UI是一个extjs的REST客...

2019-12-02 16:04:37 227

原创 [Docker&Rancher] x509: certificate has expired or is not yet valid

基于Rancher 部署docker集群time="2019-11-14T22:47:24Z" level=info msg="SignatureAlgorithm: SHA256-RSA"time="2019-11-14T22:47:24Z" level=info msg="PublicKeyAlgorithm: RSA"time="2019-11-14T22:47:24Z" leve...

2019-11-15 15:29:52 2015

原创 mysql binlog日志自动清理及手动删除

当开启mysql数据库主从时，会产生大量如mysql-bin.00000* log的文件，这会大量耗费您的硬盘空间。mysql-bin.000001mysql-bin.000002mysql-bin.000003mysql-bin.000004mysql-bin.000005…有三种解决方法：1.关闭mysql主从，关闭binlog；2.开启mysql主从，设置expire_...

2019-09-23 19:30:04 175

原创 Git 忽略提交 .gitignore

在使用Git的过程中，我们喜欢有的文件比如日志，临时文件，编译的中间文件等不要提交到代码仓库，这时就要设置相应的忽略规则，来忽略这些文件的提交。规则作用/mtk 过滤整个文件夹*.zip 过滤所有.zip文件/mtk/do.c 过滤某个具体文件!/mtk/one.txt 追踪（不过滤）某个具体文件注意：如果你创建.gitignore文件之前就push了某一文件，那么即使你在.git...

2019-09-17 10:32:26 121

原创 linux dump文件太大-解决方案：远程Linux服务器运行JvisualVM分析java

SSH登陆远程Linux服务器是普遍的方式，下面讲述如何使用Putty,Xming工具在Windows机器上SSH登陆到Linux服务器，并运行VisualVM可视化界面程序，进行Java性能分析。1: 配置Linux服务器上sshd_config文件, 允许X11转发使用编辑工具打开/etc/ssh/sshd_config，并加上如下语句：X11Forwarding yes很多ssh...

2019-09-02 18:46:23 2188

转载 zabbix优化

1.Zabbix性能概述当zabbix性能低时会出现多种状况，Zabbix前端页面出现无响应、卡顿、列队无法更新，zabbix图形中经常出现断图，无图。一些item获取不到数据。列队中出现大多被延迟的item如何判断zabbix-server性能首页导航中通过zabbix状态可以看到zabbix的主机数量、监控项的数目、触发器的数目。并通过zabbix的NVPS（每秒处理数值数）衡量...

2019-08-28 10:00:08 696

原创 Mysql数据库热更新：pt-online

Percona开发了一系列工具Percona Toolkit包，其中有一工具pt-online-schema-change可以在线执行DDL操作，不会阻塞读写操作从而影响业务程序。当然啦，MySQL 5.6也增强了一些在线DDL功能。下面主要是说pt-online-schema-change在线更改表结构。pt-online-schema-change原理1、如果存在外键，根据alter-f...

2019-08-20 14:32:38 1309

原创如何进入单用户模式(centos 6.5)

虚拟机此时处在关机模式，开机后在下图界面4秒倒计时结束前，按 e步骤2此时会进入下图所示界面，接着按一下 e步骤3此时会进入下图所示的界面，选择第2项，接着按一下 e步骤4此时会进入下图所示的界面，此时可以输入字符，请输入空格 1，输入完毕之后按一下Enter键步骤5此时我们又回到了步骤3所示的界面，如下图所示，这里我们按一下b步骤...

2019-08-19 16:30:47 7020

原创 page allocation failure(内核分配失败)问题处理

Linux内核分配失败，现象：内存使用一定量后，HANG。dmesg中可能会有类似这样的错误，系统HANG住，无法连接，需要重启解决。解决方案 - 升级内核版本1、升级到kernel-2.6.32-358.el6或更高内核。（但是不能彻底解决，只是减轻问题）Update to kernel-2.6.32-358.el6 or higher, which contai...

2019-08-19 16:23:33 10860

原创 Centos6.5 登录后跳回Login，循环登录问题

Centos6.5，用了一段时间，发现再登录时，无论如何也登不进去了，并且也不提示用户名或者密码错误进入单用户模式，发现是：Module is unkown，1、进入单用户模式2、查看/var/log/secure文件，日志如下：意思是PAM unable to dlopen /lib/security/pam_limits.so这个文件，于是乎去/lib/security...

2019-08-19 16:19:52 2156

原创 12306网上买火车票怎么选择上中下铺

如下界面时按F12添加代码<select name="passenger_1_seat_detail_select" style="display:block" id="passenger_1_seat_detail_select" onchange="setSeatDetail('1')"><option value="0">随机</option...

2019-08-01 13:16:27 3570 1

原创杀死一个已经detached的screen会话

如果想杀死一个已经detached的screen会话，可以使用以下命令：screen -X -S [session # you want to kill] quit举例如下：[root@centos6 software]# screen -lsThere is a screen on: 7550.csdn_pv (Detached)1 Socket in...

2019-07-31 17:57:47 2257

原创 Linux下搭建SFTP服务器并脚本化批量新增用户

# 登陆目标主机：$ssh user@ip# 切到root权限或直接用root 用户sudo -i# 创建用户组,便于后续管理:groupadd sftp#添加用户:#useradd -g sftp-s /sbin/nologin -M sftpuser ( -g 加入到sftp组 -s 禁止登录 -M 不要自动建立用户...

2019-07-31 15:44:16 698

原创 mysql Qps Tps

(1)QPS(每秒Query量) QPS = Questions(or Queries) / seconds mysql > show global status like 'Question%'; (2)TPS(每秒事务量) TPS = (Com_commit + Com_rollback) / seconds mysql > show global status...

2019-07-30 15:03:04 450

原创 MacOS 下完全卸载 Tuxera NTFS

完全卸载方法如下Terminal 下执行如下命令sudo rm -rf /Applications/Tuxera\ Disk\ Manager.appsudo rm -rf /Library/Application\ Support/Tuxera\ NTFSsudo rm -rf /Library/Filesystems/fusefs_txantfs.fs此过程中需要输...

2019-07-29 13:52:40 9278

原创 jconsole监控上Linux上的JVM

首先JConsole这个是JDK里面自带的工具在JAVA_HOME/bin目录下，今天主要测试远程监控JVM第一步：设置好需要远程机器的Tomcat修改Tomcat下的配置文件：/usr/local/apache-tomcat/bin/catalina.sh在文件中找到----- Execute The Requested Command --这一行，在这一行上面设置如...

2019-07-23 19:36:13 695 1

原创 Paramiko: “not a valid RSA private key file”

ssh = paramiko.SSHClient()ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())ip = ['x.x.x.x']key_file = "/Users/user/.ssh/id_rsa"key = paramiko.RSAKey.from_private_key_file(key_file)ssh....

2019-07-10 12:02:01 4071 1