- 博客(180)
- 收藏
- 关注
RSS订阅原创 Grafana接入Elasticsearch数据，绘制dashboard
介绍：此项目将nginx日志导入es，并用grafana做看板分析nginx日志 一、grafana接入es数据源 Add data source select Elasticsearch 数据源 填写es数据源地址等信息 name：数据源名称。（自行填写） URL：es数据源地址 Index name：es索引名称。 Time field name：时间字段 （和es数据字段保持一致） 二、新建dashboard create new dashboard 设置dashboard 名称等
2021-04-23 18:26:49
11357
1
原创 hadoop+zookeeper高可用，yarn高可用，Hbase高可用集群部署
一、zookeeper高可用 关闭之前的服务，并清理环境 [hadoop@server1 hadoop]$ sbin/stop-yarn.sh [hadoop@server1 hadoop]$ sbin/stop-dfs.sh [hadoop@server1 hadoop]$ jps 16432 Jps ##1-4server都执行 [hadoop@server1 hadoop]$ rm -f...
2019-04-10 19:12:27
1196
原创 hadoop的单机版测试和集群节点的搭建
Hadoop技术原理： Hdfs主要模块：NameNode、DataNode Yarn主要模块：ResourceManager、NodeManager HDFS主要模块及运行原理： 1）NameNode： 功能：是整个文件系统的管理节点。维护整个文件系统的文件目录树，文件/目录的元数据和 每个文件对应的数据块列表。接收用户的请求。 2）DataNode： 功能：是HA（高可用性）的一个解...
2019-04-10 19:11:45
860
原创 mfs配置高可用
实验环境必须保证每个节点有解析： 本篇博客实验环境基于上一篇： redhat 7.3 server1 172.25.14.1 mfsmaster节点 server2 172.25.14.2 从节点，就是真正储存数据的节点 server3 172.25.14.3 通server2 server4 172.25.24.4 高可用节点 真机： 172.25.14.250 cl...
2019-04-10 19:11:00
821
原创 mfs文件系统的配置
MFS 什么是MFS文件系统： MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 MooseFS文件系统结构包括一下四种角色： 管理服务器master 管理服务器：负责各个数据存储服务的管理文件读写调度，文件空间回收以及恢复，多节点拷贝 元数据日志服务器： 负责备份master服务器的变化日志文件，文件类型为c...
2019-04-10 19:10:35
1090
原创 gitlab和jenkins
什么是gitlab： GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。 什么是Jenkins： Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。 两者结合的优势： 这两者结合起来，就可以实现开发者提交代码到GitLab，J...
2019-04-10 19:09:58
1064
原创 git部署与github远程仓库
Git简介： 开源的最先进的分布式版本控制系统，没有之一 用以高效、高速的处理从很小到非常大的项目版本管理。 什么是版本控制系统： 版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统 什么是分布式版本控制系统： 分布式版本控制系统（Distributed Version Control System，简称 DVCS）， 在这类系统中，像 Git、Mercuria...
2019-04-10 19:09:00
573
原创 自动化运维——ansible（部署httpd，zabbix）
一、知识剖析 ansible简介： ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。 ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。 an...
2019-04-10 19:08:06
1070
原创 SaltStack中的API接口和常用模块（syndic和ssh）
[root@server1 ~]# mkdir /srv/salt/_modules [root@server1 ~]# cd /srv/salt/_modules [root@server1 _modules]# vim my_disk.py [root@server1 _modules]# cat my_disk.py def df(): cmd = ‘df -h’ return salt’c...
2019-04-10 19:07:32
365
原创 用MySQL存储SaltStack推送信息
[root@server1 salt]# systemctl stop keepalived [root@server1 salt]# cd /var/cache/ [root@server1 cache]# cd salt/master/ [root@server1 master]# cd jobs/ [root@server1 jobs]# ls 00 14 20 2d 3b 48 ...
2019-04-10 18:57:36
313
原创 SaltStack一键自动化部署高可用负载均衡集群
有了上一篇博客的基础，我们现在用【SaltStack自动化部署高可用负载均衡集群】 server1和server4组成高可用和负载均衡集群； server2作为后端真实服务器提供httpd服务 server3作为后端真实服务器提供nginx服务 实验环境 主机 IP 服务 角色 server1 172.25.19.1 haproxy，keepalived ...
2019-04-10 18:55:52
506
原创 saltstack的JINJIA模块应用
[root@server1 salt]# pwd /srv/salt [root@server1 salt]# cd httpd/ [root@server1 httpd]# vim service.sls [root@server1 httpd]# cat service.sls include: - httpd.install /etc/httpd/conf/httpd.conf: ...
2019-04-10 18:55:22
552
原创 自动化管理工具Saltstack之Grains和Pillar
[root@server2 ~]# cd /etc/salt/ [root@server2 salt]# vim minion grains: roles: - httpd [root@server2 salt]# systemctl restart salt-minion [root@server1 salt]# salt server2 grains.item roles [root@ser...
2019-04-10 18:39:31
389
原创 SaltStack的安装部署
saltstack [root@server1 ~]# yum install -y * [root@server1 ~]# cd /etc/salt/ [root@server1 salt]# systemctl start salt-master [root@server1 salt]# netstat -antlp Active Internet connections (servers a...
2019-04-10 18:38:17
978
原创 Docker——k8s集群搭建
一、知识剖析 简介 官方中文文档：https://www.kubernetes.org.cn/docs Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。 Kubernetes一个核心的特点就是能够自主的管理容器来...
2019-03-30 22:31:51
1004
原创 Docker之swarm集群的搭建
docker三剑客：swarm mesos k8s 一、知识剖析 Swarm是Docker公司在2014年12月初发布的一套较为简单的工具，用来管理Docker集群，它将一群Docker宿主机变成一个单一的，虚拟的主机。Swarm使用标准的Docker API接口作为其前端访问入口，换言之，各种形式的Docker Client(docker client in go, docker_py, ...
2019-03-30 22:31:23
447
原创 Docker容器之compose搭建负载均衡
一、知识剖析 Docker Compose Docker Compose 将所管理的容器分为三层,工程(project),服务(service)以及容器 (contaienr)。 Docker Compose 运行的目录下的所有文件(docker-compose.yml, extends 文件或环境变量文件等)组成一个工程,若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务,每个服...
2019-03-30 22:30:23
717
原创 Docker容器之cgroup搭建
一、知识剖析 什么是cgroup Cgroups 是 control groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组（process groups）所使用的物理资源（如：cpu,memory,IO等等）的机制。最初由 google 的工程师提出，后来被整合进 Linux 内核。Cgroups 也是 LXC 为实现虚拟化所使用的资源管理手段，可以说没有cgrou...
2019-03-30 22:29:19
1171
原创 Docker容器——容器之间的互联
创建一个bridge模式的网络 [root@foundation19 ~]# docker network create --driver bridge my_net1 89b97e70be47c758684ca2bd34e86242a0643be9a01fd297f5487b5cdef4f82c [root@foundation19 ~]# docker network ls NETWORK...
2019-03-30 22:29:00
2059
1
原创 Docker容器——网络管理
一、网络的基本管理 查看docker网络的模式 [root@foundation38 backup]# docker network ls 查看docker网络的模式 NETWORK ID NAME DRIVER SCOPE 21ca12d3508c bridge bridge...
2019-03-30 22:01:31
444
原创 Docker容器之Dockerfile的编写
一、Dockerfile的编写 编写DockFile实现安装httpd服务 导入镜像 [root@foundation19 images]# docker load -i rhel7.tar 编写Dockerfile [root@foundation79 docker]# pwd /tmp/docker [root@foundation19 docker]# vim Docke...
2019-03-30 22:00:11
805
原创 Docker容器之创建私有库
创建似有仓库 [root@foundation19 images]# docker load -i registry.tar [root@foundation19 images]# docker images registry REPOSITORY TAG IMAGE ID CREATED SIZE r...
2019-03-30 21:59:34
573
原创 Docker容器之如何从阿里云拉取镜像
镜像用来创建容器,是容器的只读模板,默认可以从 docker hub 上下载。docker 的镜像是 增量修改,每次创建新的镜像都会在父镜像上构建一个增量的层,基于 AUFS 技术。 docker search 查询镜像 docker pull 拉取镜像 docker push 推送镜像 镜像默认可以从 docker hub 上下载,这是 docker 官方的公共仓库,为我们免费提供了大...
2019-03-30 21:57:18
4463
原创 Docker容器搭建，及简单应用
Docker容器的简介已经在前面的博客提到 本篇博客讲解Docker的安装和基本指令用法 一、 Docker的部署与安装 安装docker和相关依赖性： [root@foundation19 docker]# ls container-selinux-2.21-1.el7.noarch.rpm docker-ce-18.06.1.ce-3.el7.x86_64.rpm libsemanag...
2019-03-30 21:56:26
1791
nginx的反向代理
内网外网 ##nginx数据流向：了解nginx如何知道客户端ip client–>ADSL–>cdn（cacahe）–>SLB(反向代理)–>nginx(同样是反向代理) 内网 做SNAT伪装 那么nginx如何获得客户端ip？x_forwarded_for会记录做过伪装的ip ####获取原地址的实验： [root@server1 nginx-1.14.2]# ln...
2019-03-27 23:20:40
334
原创 zabbix性能扩展，以TIDB为底层数据库
zabbix作为一个监控系统，其信息量的摄入是十分庞大的，单纯的传统关系型数据库南以满足其大数据量的要求，因此可通过将其底层数据库替换会new sql来解决其数据庞大的瓶颈，这里为大家介绍通过TIDB来解决此问题 一、TiDB 整体架构 二.TiDB 集群的主要三个组件 TiDB Server TiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存...
2019-03-16 23:03:00
513
原创 图文讲解Zabbix 分布式监控平台添加服务监控项（http，nginx，mysql）
一、导语 此实验是在搭建好zabbix集群的基础上操作的，读者可查看文章 二、添加 http 服务监控项 http是zabbix自带的监控模板 点击 配置->主机-> server2 ->模版 ->选择 -> Templa
2019-03-16 23:01:54
436
原创 zabbix proxy 分布式监控配置
一、什么是zabbix-proxy: Zabbix proxy是在大规模分布式监控场景中，采用的一种用以分担server端压力的分层结构， proxy可以代替zabbix server检索客户端的数据，然后把数据汇报给zabbix server，极大的减轻了server的负载压力，使得可以支持更大规模的监控需求，非常简便的实现了集中式、分布式监控 二、主机环境 主机 IP 角色 ...
2019-03-16 23:01:04
668
原创 Zabbix Agent active主动模式监控
##主被 ##proxy 删除server2,停用自动发现 [root@server2 ~]# hostnamectl set-hostname proxy [root@server2 ~]# logout Connection to 172.25.19.2 closed. [kiosk@foundation19 ~]$ ssh root@172.25.19.2 root@172.25.19.2’...
2019-03-16 23:00:27
385
原创 zabbix使用JMX监控tomcat（java类应用）
四、 tomcat：java应用 [root@server3 ~]# rpm -ivh jdk-8u121-linux-x64.rpm [root@server3 ~]# tar zxf apache-tomcat-8.5.24.tar.gz -C /usr/local [root@server3 ~]# cd /usr/local/ [root@server3 local]# ln -s ap...
2019-03-16 22:59:53
1364
原创 利用Zabbix部署onealert云告警平台
zabbix报警 [root@server1 ~]# hostnamectl set-hostname server1.example.com [root@server1 ~]# ping www.baidu.com ##需要能上网 [root@server1 ~]# yum install mailx -y [root@server1 ~]# netstat -antlp | grep :25...
2019-03-16 22:58:17
699
原创 使用API 在zabbix监控系统中查看，创建及删除监控主机
继上一篇博客，部署好zabbix监控 什么是API： API（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。简单的说，API就是对外的接口，利用API可以直接到达软件硬件内部来进行操作…. zabbix中API的作用： Zab...
2019-03-16 22:55:57
475
原创 图文讲解zabbix安装全过程
Zabbix简介: zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 zabbix由zabbix server与可选组件zabbix agent两部门组成。 zabbix server可以通过SNMP，zabbix agent，p...
2019-03-16 22:54:28
674
原创 Redis集群，利用Gearman做mysql 的缓存服务器（lnmp架构）
实验环境：rhel7.3 Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。Redis集群并不支持处理多个keys的命令,因为这需要 在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误. Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势: 自动分割数据...
2019-03-11 08:47:13
629
原创 Redis的主从复制和高可用搭建
实验环境： server1：172.25.19.1 master server2：172.25.19.2 slave server3：172.25.19.3 slave 一、redis的主从复制 【server1，server2，server3】同样步骤 下载安装包，并解压 [root@server1 ~]# ls redis-4.0.8.tar.gz [root@server...
2019-03-11 08:41:57
355
原创 基于MHA的MySQL高可用架构搭建
知识剖析: MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于 Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。 在MySQL故障切换过程中，MHA能做到在 0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中...
2019-03-11 08:41:06
490
原创 MySQL数据库的读写分离（mysql-proxy）
一、什么是读写分离？ MySQL读写分离是指让master处理写操作，让slave处理读操作，非常适用于读操作量比较大的场景，可减轻master的压力。 使用mysql-proxy实现mysql的读写分离，mysql-proxy实际上是作为后端mysql主从服务器的代理，它直接接受客户端的请求，对SQL语句进行分析，判断出是读操作还是写操作，然后分发至对应的mysql服务器上。 二、为什么要读...
2019-03-11 08:40:09
785
原创 MySQL的组复制
知识剖析： 组复制模型： MySQL组复制是MySQL 5.7.17开始引入的新功能，为主从复制实现高可用功能。它支持单主模型和多主模型两种工作方式(默认是单主模型)。 单主模型：从复制组中众多个MySQL节点中自动选举一个master节点，只有master节点可以写，其他节点自动设置为read only。当master节点故障时，会自动选举一个新的master节点，选举成功后，它将...
2019-02-28 21:53:14
339
原创 MySQ主从复制，基于GTID的主从复制和半同步，并行复制
实验环境：rhel7.3 selinux and firewalld disabled 主机环境： 主库端：server3:172.25.19.3 从库端：server4:172.25.19.4 一、mysql5.7主从复制 主从复制的要求： （1）主库开启binlog日志（设置log-bin参数） （2）主从server-id不同 （3）从库服务器能连同主库 主从复制原理： my...
2019-02-28 21:52:24
608
原创 nginx配置文件详解
[root@server1 conf]# useradd -M -d /usr/local/nginx/ -s /sbin/nologin nginx user nginx nginx; 单点故障 31 keepalive_timeout 65; [root@server1 ~]# nginx -V nginx version: nginx/1.14.2 built by gcc 4....
2019-02-28 21:51:48
1028
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人