2020年05月_难得 yx

原创 MFS分布式文件系统（四) pacemaker 实现 mfs集群的高可用

文章目录pacemaker的安装和设置基本为集群配置fence为集群添加vip资源为集群添加共享存储为集群中添加mfsservice当mfsmaster被意外终止时pacemaker的安装和设置基本实验背景:172.25.2.7 ser7 mfsmaster172.25.2.12 ser11 mfsmaster172.25.2.8 ser8 mfschunkserver172.25.2.9 ser9 mfschunkserver172.25.2.250 真机客户端实验目的:实现mfs

2020-05-29 19:34:22 353

原创 MFS分布式文件系统（三) (Storage class 存储类)

文章目录什么是storage class什么是label实验过程什么是storage class在moosefs中，storage class允许指定文件的chunks存放在哪些chunkservers上。storage class使用label进行表达。为了与早起的版本的goal功能兼容，moosefs 3.0以上会自动在系统中建立1～9 storage class。goal工具将默认在对应的storage class下进行工作。什么是labellabel是可以被分配给chunkserve

2020-05-28 18:00:31 253

原创 MFS分布式文件系统（二) (恢复客户端删除的文件 + 恢复意外挂掉的mfsmaster + master对内存的设置）

文章目录对客户端删除的文件进行恢复master对内存的设置恢复意外挂掉的mfsmaster服务本文在mfs分布式文件系统（一）的基础下进行编写。对客户端删除的文件进行恢复1.在客户端删除客户端mfs目录中的文件2.创建元数据目录查看mount3.进入回收站3.找到之前删除的文件4.对数据进行恢复5.恢复成功注意：master对内存的设置实验中master在ser7:恢复意外挂掉的mfsmaster服务在正常关闭的时候，/var/lib/mfs目录中会产生metadata.m

2020-05-28 17:36:25 343

原创 MFS分布式文件系统（一) (MFS简介+环境部署+测试使用)

文章目录分布式文件系统简介MFS简介MFS的组成MFS的工作过程MFS读取数据的处理过程MFS写入数据的处理过程分布式文件系统简介分布式文件系统（Distributed File Systemm）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的（分布在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹

2020-05-27 15:26:59 1211 2

原创 ELK日志分析平台(五) 为es集群开启xpack验证

文章目录xpack简介实验步骤ES集群的设置Kibana端Logstash 端测试xpack简介在配置好es集群之后，可以选择开启安全认证功能。X-Pack 提供以下几个级别保护elastic集群1）用户验证2）授权和基于角色的访问控制3）节点/客户端认证和信道加密4）审计实验步骤实验目的:为es集群开启 xpack安全认证，并在logstash和Kibana开启相应的用户认证。实验背景:172.25.2.7 ser7 es端172.25.2.8 ser8 es端172.25

2020-05-27 15:20:38 3307

原创 ELK日志分析平台(四)（kibana 实现数据可视化）

文章目录kibana简介安装与配置创建索引匹配基于ES索引创建可视化创建仪表盘创建垂直条形图(访问量排行榜)创建饼图（访问量比例)开发者apikibana简介kibana，elasticsearch项目的产品之一。官网地址：https://www.elastic.co/products/kibana 。它是数据可视化工具，提供网页与人交互，将查询语句交给ES处理并将结果可视化。官方标语为：Explore & Visualize Your Data，探索与可视化你的数据。Kibana 核心产

2020-05-26 20:20:05 788

原创 ELK日志分析平台(三) (Logstash简介+安装+常用插件示例)

文章目录Logstash简介Logstash安装与配置file 输出插件标准输入到标准输出标准输入到文件elasticsearch输出插件标准输入到es主机file输入插件把文件内容输出到es主机logstash如何区分设备、文件名、文件的不同版本syslog输入插件多行过滤插件多行过滤插件过滤远程主机的日志grok过滤插件apache服务日志过滤实战Logstash简介Logstash是一个开源的服务器端数据处理管道，它的主要作用是做数据采集。logstash拥有200多个插件，能够同时从多个来源采

2020-05-26 10:40:12 548

原创 ELK日志分析平台(二) (elasticsearch节点角色+节点优化)

文章目录elasticsearch节点角色elasticsearch优化节点划分节点需求实验elasticsearch节点角色Master：主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。Data Node:主要负责集群中数据的索引和检索，一般压力比较大。Coordinating Node：(协调节点）原来的Client

2020-05-26 09:56:08 618

原创 ELK日志分析平台(一) (ELK 简介+Elasticsearch集群的部署+head插件的安装)

文章目录ELK是什么Elasticsearch简介Logstash简介ELK是什么ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。ELK Stack成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点：• 处理方式灵活。Elasticsearch 是实时全文索引，不需要像 s

2020-05-26 09:38:15 540

原创 CI/CD工具Jenkins学习(四) (jenkins结合ansible参数化构建过程）

文章目录jenkins+ansible的使用参数化构建过程jenkins+ansible的使用实验任务:添加ansible交付任务：Jenkins服务器提前部署好到目标主机的ssh免密，并安装ansible软件包。由于是以jenkins用户调用ansible命令，所以需要设置jenkins用户到目标主机的免密。新建playbook代码仓库实验环境:172.25.2.7 ser6 jenkins 和ansible主机172.25.2.8 ser8 gitlab仓库172.25.2.

2020-05-24 18:32:19 894

原创 CI/CD工具Jenkins学习(三) (使用tls方式连接docker主机 + ssh插件的使用）

文章目录Jenkins使用tls方式连接docker构建主机(https)测试ssh 插件Jenkins使用tls方式连接docker构建主机(https)实验环境:172.25.2.7 jenkins主机172.25.2.8 gitlab仓库172.25.2.2 harbor仓库172.25.2.9 新添加的主机 (docker服务端）关闭selinux和firwalld1.在docker服务端,生成key和ca证书。# openssl genrsa -aes256 -out ca-k

2020-05-24 18:08:34 550

原创 CI/CD工具Jenkins学习(二) (使用 jenkins自动构建docker镜像，并上传至harbor仓库)

文章目录Jenkins自动构建docker镜像，并上传至harbor仓库Jenkins自动构建docker镜像，并上传至harbor仓库实验环境:172.25.2.7 ser6 jekins主机172.25.2.8 ser8 gitlab代码库172.25.2.2 ser2 harbor仓库关闭几台主机的selinux,firewalld1.为jenkins添加docker插件选择此插件并安装在项目test1的配置中增加构建后的步骤2.harbor仓库的启动（之前已经搭建好）

2020-05-24 17:43:51 822 1

原创 CI/CD工具Jenkins学习(一) (jenkins简介+jenkins的安装+设置gitlab主动触发jenkins)

文章目录CI/CD是什么jenkins是什么jenkins的特性jenkins的安装CI/CD是什么CI(Continuous integration，中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了新代码之后，立刻进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。CD(Continuous Delivery，中文意思持续交付)是在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境(类生产环境)中。比如，我们完成单元测试后，可以把代码

2020-05-24 12:06:38 763

原创分布式版本控制系统 Git 详解（二）( git 的安装及使用 + gitlab的部署)

文章目录git的部署及使用git的部署及使用1.安装git(超简单)yum install git -y 2.获取 Git 仓库通常有两种方式,在这里我们先采用第一种方法，后面再演示第二种。将尚未进行版本控制的本地目录转换为 Git 仓库。从其它服务器克隆一个已存在的 Git 仓库。比如： git clone 3.初始化版本库(把本地目录转化为git仓库)$ mkdir demo$ git init Initialized empty Git repository in /hom

2020-05-22 20:54:14 406

原创分布式版本控制系统 Git 详解（一）(版本控制器系统简介+git简介+git的三种工作状态)

文章目录什么是版本控制系统版本控制系统的分类本地版本控制系统集中化的版本控制系统分布式版本控制系统git是什么git 的特点git和其他版本控制器的差异直接记录快照，而非差异比较近乎所有操作都是本地执行Git 保证完整性Git 一般只添加数据git的三种状态基本的 Git 工作流程什么是版本控制系统概念版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。你可以对任何类型的文件进行版本控制。版本控制（Revision control）是一种在开发的过程中用于管理我们对文件、目

2020-05-22 20:54:00 699

原创自动化运维工具 SaltStack （五) (salt-ssh + salt-syndic + salt-api 的概念及部署)

文章目录salt-ssh概念roster系统的使用配置过程salt-syndic概念配置过程topmaster端下级master端topmaster端做授权salt-api概念配置过程github小项目实现salt-ssh概念1.salt-ssh 是 0.17.0 新引入的一个功能，不需要minion对客户端进行管理，也不需要master。2.salt-ssh 支持salt大部分的功能：如 grains、modules、state 等3.salt-ssh 没有使用ZeroMQ的通信架构，执行是串行模

2020-05-20 20:26:11 714

原创自动化运维工具 SaltStack (四) (Job概念+将job存储在数据库中的两种方式)

文章目录Job的概念job管理中的基本命令将job存储到数据库External Job CacheMaster Job CacheJob的概念1.master在下发指令任务时，会附带上产生的jid。Jid： job id 格式为%Y%m%d%H%M%S%f2.minion在接收到指令开始执行时，会在本地的/var/cache/salt/minion/proc目录下产生该jid命名的文件，用于在执行过程中master查看当前任务的执行情况。指令执行完毕将结果传送给master后，删除该临时文件。3.

2020-05-20 20:25:56 468

原创自动化运维工具 SaltStack （三) ( Jinja模板 + keepalived的部署)

文章目录jinja模板的概念jinja模板的使用方式Jinja最基本的用法是使用控制结构包装条件Jinja在普通文件的使用直接引用grains变量import方式，可在state文件之间共享saltsatck部署keepalivedjinja模板的概念Jinja是一种基于python的模板引擎，在SLS文件里可以直接使用jinja模板来做一些操作。通过jinja模板可以为不同服务器定义各自的变量。两种分隔符: {% … %} 和 {{ … }}前者用于执行诸如 for 循环或赋值的语句，后者把表

2020-05-20 20:25:42 262 1

原创自动化运维工具 SaltStack（二） grains 和 pillar 模块的概念及使用

文章目录Grains概念信息查询自定义grains项编写grains模块grains匹配运用pillar概念声明pillar自定义pillar项pillar数据匹配(如何使用)Grains概念Grains是SaltStack的一个组件，存放在SaltStack的minion端。当salt-minion启动时会把收集到的数据静态存放在Grains当中，只有当minion重启时才会进行数据的更新。由于grains是静态数据，因此不推荐经常去修改它。应用场景：信息查询，可用作CMDB。在target

2020-05-20 20:25:24 335

原创自动化运维工具 SaltStack 应用之源码安装nginx

文章目录源码编译安装nginx源码编译安装nginx[root@server2 nginx]# pwd/srv/salt/nginx[root@server2 nginx]# cat init.sls install-nginx: pkg.installed: - pkgs: - gcc - make - pcre-devel - openssl-devel archive.extracted: - name: /mnt

2020-05-20 20:25:10 155 1

原创自动化运维工具 SaltStack （一）（Saltstack的简介+远程执行+文件的几种编写方式)

文章目录SaltStack简介SaltStack的安装SaltStack远程执行远程执行shell命令创建文件执行远程命令编写远程执行模块几种编写文件的方式file模块配置httpdSaltStack简介saltstack是一个配置管理系统，能够维护预定义状态的远程节点。saltstack是一个分布式远程执行系统，用来在远程节点上执行命令和查询数据。saltstack是运维人员提高工作效率、规范业务配置与操作的利器。Salt的核心功能使命令发送到远程系统是并行的而不是串行的使用安全加密的协议

2020-05-20 20:24:51 490

原创自动化运维工具应用之 SaltStack 一键部署zabbix环境

文章目录实验基础指定本地yum仓库创建数据库(用于zabbix-server)编写/srv/salt/top.sls文件为ser4部署zabbix-server为ser3和ser4部署zabbix-agent为ser4部署zabbix-web界面编写pillar目录部署测试及排错添加zabbix-agent实验基础实验目的:利用saltstack构建server-agent架构的zabbix环境，主要指定server端，并添加一个agent端，其他的agent端可根据需要多添加几个。在本篇文章里，

2020-05-19 18:53:30 460

原创 kubernetes(k8s) 学习 (十八) Charts管理工具Helm

文章目录Helm简介Helm的部署Helm 部署应用(拉取仓库的redis并部署)Helm简介Helm是Kubernetes 应用的包管理工具，主要用来管理 Charts，类似Linux系统的yum。Helm Chart 是用来封装 Kubernetes 原生应用程序的一系列 YAML 文件。可以在你部署应用的时候自定义应用程序的一些 Metadata，以便于应用程序的分发。对于应用发布者而言，可以通过 Helm 打包应用、管理应用依赖关系、管理应用版本并发布应用到软件仓库。对于使用者而言，使用

2020-05-13 22:48:11 2737

原创 kubernetes(k8s) 学习 (十七) 横向自动扩容HPA(pod的弹性伸缩)

文章目录HPA是什么部署步骤运行php-apache服务器并暴露服务创建HPA增加负载，进行测试停止负载HPA伸缩过程详解基于多项度量指标进行伸缩HPA是什么Kubernetes有一个HPA(Horizontal Pod Autoscaler)的资源，可以实现基于CPU使用率的Pod自动伸缩的功能。1.HPA基于Master Node上的kube-controller-manager服务启动参数–horizontal-pod-autoscaler-sync-period定义的时长(默认为30秒)，周期

2020-05-11 13:14:33 1352

原创 kubernetes(k8s) 学习 (十六) Metrics-Server+Dashboard实现资源监控

文章目录Metrics-Server简介Metrics-server部署Dashboard实现图形化界面部署下载部署文件获取token默认dashboard对集群没有操作权限，需要授权Metrics-Server简介Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。

2020-05-11 12:35:43 2181

weixin_45649763的博客