- 博客(180)
- 收藏
- 关注
RSS订阅原创 Grafana接入Elasticsearch数据，绘制dashboard
介绍：此项目将nginx日志导入es，并用grafana做看板分析nginx日志一、grafana接入es数据源Add data sourceselect Elasticsearch 数据源填写es数据源地址等信息name：数据源名称。（自行填写）URL：es数据源地址Index name：es索引名称。Time field name：时间字段 （和es数据字段保持一致）二、新建dashboardcreate new dashboard设置dashboard 名称等
2021-04-23 18:26:49
9279
1
原创 hadoop+zookeeper高可用，yarn高可用，Hbase高可用集群部署
一、zookeeper高可用关闭之前的服务，并清理环境[hadoop@server1 hadoop]$ sbin/stop-yarn.sh[hadoop@server1 hadoop]$ sbin/stop-dfs.sh[hadoop@server1 hadoop]$ jps16432 Jps##1-4server都执行[hadoop@server1 hadoop]$ rm -f...
2019-04-10 19:12:27
1071
原创 hadoop的单机版测试和集群节点的搭建
Hadoop技术原理：Hdfs主要模块：NameNode、DataNodeYarn主要模块：ResourceManager、NodeManagerHDFS主要模块及运行原理：1）NameNode：功能：是整个文件系统的管理节点。维护整个文件系统的文件目录树，文件/目录的元数据和每个文件对应的数据块列表。接收用户的请求。2）DataNode：功能：是HA（高可用性）的一个解...
2019-04-10 19:11:45
731
原创 mfs配置高可用
实验环境必须保证每个节点有解析：本篇博客实验环境基于上一篇：redhat 7.3server1 172.25.14.1 mfsmaster节点server2 172.25.14.2 从节点，就是真正储存数据的节点server3 172.25.14.3 通server2server4 172.25.24.4 高可用节点真机： 172.25.14.250 cl...
2019-04-10 19:11:00
710
原创 mfs文件系统的配置
MFS什么是MFS文件系统：MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。MooseFS文件系统结构包括一下四种角色：管理服务器master管理服务器：负责各个数据存储服务的管理文件读写调度，文件空间回收以及恢复，多节点拷贝元数据日志服务器：负责备份master服务器的变化日志文件，文件类型为c...
2019-04-10 19:10:35
968
原创 gitlab和jenkins
什么是gitlab：GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。什么是Jenkins：Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。两者结合的优势：这两者结合起来，就可以实现开发者提交代码到GitLab，J...
2019-04-10 19:09:58
801
原创 git部署与github远程仓库
Git简介：开源的最先进的分布式版本控制系统，没有之一用以高效、高速的处理从很小到非常大的项目版本管理。什么是版本控制系统：版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统什么是分布式版本控制系统：分布式版本控制系统（Distributed Version Control System，简称 DVCS）， 在这类系统中，像 Git、Mercuria...
2019-04-10 19:09:00
511
原创 自动化运维——ansible（部署httpd，zabbix）
一、知识剖析ansible简介：ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。an...
2019-04-10 19:08:06
923
原创 SaltStack中的API接口和常用模块（syndic和ssh）
[root@server1 ~]# mkdir /srv/salt/_modules[root@server1 ~]# cd /srv/salt/_modules[root@server1 _modules]# vim my_disk.py[root@server1 _modules]# cat my_disk.pydef df():cmd = ‘df -h’return salt’c...
2019-04-10 19:07:32
305
原创 用MySQL存储SaltStack推送信息
[root@server1 salt]# systemctl stop keepalived[root@server1 salt]# cd /var/cache/[root@server1 cache]# cd salt/master/[root@server1 master]# cd jobs/[root@server1 jobs]# ls00 14 20 2d 3b 48 ...
2019-04-10 18:57:36
265
原创 SaltStack一键自动化部署高可用负载均衡集群
有了上一篇博客的基础，我们现在用【SaltStack自动化部署高可用负载均衡集群】server1和server4组成高可用和负载均衡集群；server2作为后端真实服务器提供httpd服务server3作为后端真实服务器提供nginx服务 实验环境主机IP服务角色server1172.25.19.1haproxy，keepalived...
2019-04-10 18:55:52
448
原创 saltstack的JINJIA模块应用
[root@server1 salt]# pwd/srv/salt[root@server1 salt]# cd httpd/[root@server1 httpd]# vim service.sls [root@server1 httpd]# cat service.sls include: - httpd.install/etc/httpd/conf/httpd.conf:...
2019-04-10 18:55:22
472
原创 自动化管理工具Saltstack之Grains和Pillar
[root@server2 ~]# cd /etc/salt/[root@server2 salt]# vim miniongrains:roles:- httpd[root@server2 salt]# systemctl restart salt-minion[root@server1 salt]# salt server2 grains.item roles[root@ser...
2019-04-10 18:39:31
324
原创 SaltStack的安装部署
saltstack[root@server1 ~]# yum install -y *[root@server1 ~]# cd /etc/salt/[root@server1 salt]# systemctl start salt-master[root@server1 salt]# netstat -antlpActive Internet connections (servers a...
2019-04-10 18:38:17
782
原创 Docker——k8s集群搭建
一、知识剖析简介官方中文文档：https://www.kubernetes.org.cn/docsKubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。Kubernetes一个核心的特点就是能够自主的管理容器来...
2019-03-30 22:31:51
908
原创 Docker之swarm集群的搭建
docker三剑客：swarm mesos k8s一、知识剖析Swarm是Docker公司在2014年12月初发布的一套较为简单的工具，用来管理Docker集群，它将一群Docker宿主机变成一个单一的，虚拟的主机。Swarm使用标准的Docker API接口作为其前端访问入口，换言之，各种形式的Docker Client(docker client in go, docker_py, ...
2019-03-30 22:31:23
393
原创 Docker容器之compose搭建负载均衡
一、知识剖析Docker ComposeDocker Compose 将所管理的容器分为三层,工程(project),服务(service)以及容器 (contaienr)。Docker Compose 运行的目录下的所有文件(docker-compose.yml, extends 文件或环境变量文件等)组成一个工程,若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务,每个服...
2019-03-30 22:30:23
577
原创 Docker容器之cgroup搭建
一、知识剖析什么是cgroupCgroups 是 control groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组（process groups）所使用的物理资源（如：cpu,memory,IO等等）的机制。最初由 google 的工程师提出，后来被整合进 Linux 内核。Cgroups 也是 LXC 为实现虚拟化所使用的资源管理手段，可以说没有cgrou...
2019-03-30 22:29:19
1036
原创 Docker容器——容器之间的互联
创建一个bridge模式的网络[root@foundation19 ~]# docker network create --driver bridge my_net189b97e70be47c758684ca2bd34e86242a0643be9a01fd297f5487b5cdef4f82c[root@foundation19 ~]# docker network lsNETWORK...
2019-03-30 22:29:00
1997
1
原创 Docker容器——网络管理
一、网络的基本管理查看docker网络的模式[root@foundation38 backup]# docker network ls 查看docker网络的模式NETWORK ID NAME DRIVER SCOPE21ca12d3508c bridge bridge...
2019-03-30 22:01:31
337
原创 Docker容器之Dockerfile的编写
一、Dockerfile的编写 编写DockFile实现安装httpd服务导入镜像[root@foundation19 images]# docker load -i rhel7.tar 编写Dockerfile[root@foundation79 docker]# pwd/tmp/docker[root@foundation19 docker]# vim Docke...
2019-03-30 22:00:11
694
原创 Docker容器之创建私有库
创建似有仓库[root@foundation19 images]# docker load -i registry.tar[root@foundation19 images]# docker images registryREPOSITORY TAG IMAGE ID CREATED SIZEr...
2019-03-30 21:59:34
467
原创 Docker容器之如何从阿里云拉取镜像
镜像用来创建容器,是容器的只读模板,默认可以从 docker hub 上下载。docker 的镜像是增量修改,每次创建新的镜像都会在父镜像上构建一个增量的层,基于 AUFS 技术。docker search 查询镜像docker pull 拉取镜像docker push 推送镜像镜像默认可以从 docker hub 上下载,这是 docker 官方的公共仓库,为我们免费提供了大...
2019-03-30 21:57:18
3957
原创 Docker容器搭建，及简单应用
Docker容器的简介已经在前面的博客提到本篇博客讲解Docker的安装和基本指令用法一、 Docker的部署与安装安装docker和相关依赖性：[root@foundation19 docker]# lscontainer-selinux-2.21-1.el7.noarch.rpmdocker-ce-18.06.1.ce-3.el7.x86_64.rpmlibsemanag...
2019-03-30 21:56:26
1721
nginx的反向代理
内网外网##nginx数据流向：了解nginx如何知道客户端ipclient–>ADSL–>cdn（cacahe）–>SLB(反向代理)–>nginx(同样是反向代理)内网 做SNAT伪装那么nginx如何获得客户端ip？x_forwarded_for会记录做过伪装的ip####获取原地址的实验：[root@server1 nginx-1.14.2]# ln...
2019-03-27 23:20:40
260
原创 zabbix性能扩展，以TIDB为底层数据库
zabbix作为一个监控系统，其信息量的摄入是十分庞大的，单纯的传统关系型数据库南以满足其大数据量的要求，因此可通过将其底层数据库替换会new sql来解决其数据庞大的瓶颈，这里为大家介绍通过TIDB来解决此问题一、TiDB 整体架构二.TiDB 集群的主要三个组件TiDB ServerTiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存...
2019-03-16 23:03:00
409
原创 图文讲解Zabbix 分布式监控平台添加服务监控项（http，nginx，mysql）
一、导语此实验是在搭建好zabbix集群的基础上操作的，读者可查看文章二、添加 http 服务监控项http是zabbix自带的监控模板点击 配置->主机-> server2 ->模版 ->选择 -> Templa
2019-03-16 23:01:54
364
原创 zabbix proxy 分布式监控配置
一、什么是zabbix-proxy:Zabbix proxy是在大规模分布式监控场景中，采用的一种用以分担server端压力的分层结构， proxy可以代替zabbix server检索客户端的数据，然后把数据汇报给zabbix server，极大的减轻了server的负载压力，使得可以支持更大规模的监控需求，非常简便的实现了集中式、分布式监控二、主机环境主机IP角色...
2019-03-16 23:01:04
528
原创 Zabbix Agent active主动模式监控
##主被##proxy删除server2,停用自动发现[root@server2 ~]# hostnamectl set-hostname proxy[root@server2 ~]# logoutConnection to 172.25.19.2 closed.[kiosk@foundation19 ~]$ ssh root@172.25.19.2root@172.25.19.2’...
2019-03-16 23:00:27
276
原创 zabbix使用JMX监控tomcat（java类应用）
四、tomcat：java应用[root@server3 ~]# rpm -ivh jdk-8u121-linux-x64.rpm[root@server3 ~]# tar zxf apache-tomcat-8.5.24.tar.gz -C /usr/local[root@server3 ~]# cd /usr/local/[root@server3 local]# ln -s ap...
2019-03-16 22:59:53
1283
原创 利用Zabbix部署onealert云告警平台
zabbix报警[root@server1 ~]# hostnamectl set-hostname server1.example.com[root@server1 ~]# ping www.baidu.com ##需要能上网[root@server1 ~]# yum install mailx -y[root@server1 ~]# netstat -antlp | grep :25...
2019-03-16 22:58:17
610
原创 使用API 在zabbix监控系统中查看，创建及删除监控主机
继上一篇博客，部署好zabbix监控什么是API：API（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。简单的说，API就是对外的接口，利用API可以直接到达软件硬件内部来进行操作….zabbix中API的作用：Zab...
2019-03-16 22:55:57
378
原创 图文讲解zabbix安装全过程
Zabbix简介:zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由zabbix server与可选组件zabbix agent两部门组成。zabbix server可以通过SNMP，zabbix agent，p...
2019-03-16 22:54:28
573
原创 Redis集群，利用Gearman做mysql 的缓存服务器（lnmp架构）
实验环境：rhel7.3Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令.Redis 集群的优势:自动分割数据...
2019-03-11 08:47:13
548
原创 Redis的主从复制和高可用搭建
实验环境：server1：172.25.19.1 masterserver2：172.25.19.2 slaveserver3：172.25.19.3 slave一、redis的主从复制【server1，server2，server3】同样步骤下载安装包，并解压[root@server1 ~]# lsredis-4.0.8.tar.gz[root@server...
2019-03-11 08:41:57
287
原创 基于MHA的MySQL高可用架构搭建
知识剖析:MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于 Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在 0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中...
2019-03-11 08:41:06
425
原创 MySQL数据库的读写分离（mysql-proxy）
一、什么是读写分离？MySQL读写分离是指让master处理写操作，让slave处理读操作，非常适用于读操作量比较大的场景，可减轻master的压力。使用mysql-proxy实现mysql的读写分离，mysql-proxy实际上是作为后端mysql主从服务器的代理，它直接接受客户端的请求，对SQL语句进行分析，判断出是读操作还是写操作，然后分发至对应的mysql服务器上。二、为什么要读...
2019-03-11 08:40:09
691
原创 MySQL的组复制
知识剖析： 组复制模型：MySQL组复制是MySQL 5.7.17开始引入的新功能，为主从复制实现高可用功能。它支持单主模型和多主模型两种工作方式(默认是单主模型)。单主模型：从复制组中众多个MySQL节点中自动选举一个master节点，只有master节点可以写，其他节点自动设置为read only。当master节点故障时，会自动选举一个新的master节点，选举成功后，它将...
2019-02-28 21:53:14
283
原创 MySQ主从复制，基于GTID的主从复制和半同步，并行复制
实验环境：rhel7.3 selinux and firewalld disabled主机环境：主库端：server3:172.25.19.3从库端：server4:172.25.19.4一、mysql5.7主从复制主从复制的要求：（1）主库开启binlog日志（设置log-bin参数）（2）主从server-id不同（3）从库服务器能连同主库主从复制原理： my...
2019-02-28 21:52:24
519
原创 nginx配置文件详解
[root@server1 conf]# useradd -M -d /usr/local/nginx/ -s /sbin/nologin nginxuser nginx nginx;单点故障31 keepalive_timeout 65;[root@server1 ~]# nginx -Vnginx version: nginx/1.14.2built by gcc 4....
2019-02-28 21:51:48
955
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人