![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux进阶
文章平均质量分 94
在linux系统下,对现在企业上已经应用的技术进行模拟实现和学习
努力上进的云同学
当你觉得目前的状况配不上自己的理想时,就静下心来读书学习吧!
展开
-
zabbix监控平台的搭建(二)
一、关于zabbix1、zabbix架构Zabbix Server:负责接收Agent发送的报告信息,组织所有配置、数据和操作。 Database Storage:存储配置信息以及收集到的数据。 Web Interface:Zabbix的GUI 接口,通常与Server运行在同一台机器上。 Proxy:可选组件,常用于分布式监控环境中。 Agent:部署在被监控主机上,负责收集数据...原创 2020-02-20 22:21:16 · 228 阅读 · 0 评论 -
zabbix监控概念(一)
一、关于zabbix的出现以及功能要想实时的了解服务器的运行状况并且能在出现问题时及时解决,利用监控软件是一个很好的选择,而zabbix监控系统则在众多监控软件中脱颖而出。zabbix是一个基于web界面的企业级开源监控软件,Zabbix服务器需要LAMP环境或LNMP环境,提供分布式系统监控与网络监视功能。具备主机的性能监控,网络设备性能监控,数据库性能监控,多种告警方式,详细报表、图表...原创 2020-02-20 19:08:54 · 735 阅读 · 0 评论 -
MFS分布式文件系统(三)MFS的高可用(即热备)
实现MFS的高可用,就要由pacemaker+corosync+vmfence+mfsmaster这些部分组成。为什么要实现MFS的高可用呢?因为master只有一个,如果坏了,那么整个分布式集群就有问题了。1.什么是pacemaker?Pacemaker是一个集群资源管理器。它利用集群基础构件(OpenAIS 、heartbeat或corosync)提供的消息和成员管理能力来探...原创 2020-02-13 19:39:34 · 537 阅读 · 0 评论 -
MFS分布式文件系统(二)分布式文件系统的搭建和验证
server1 mfs_master 172.25.58.1 server2 mfs_chunkserver1 172.25.58.2 server3 mfs_chunkserver2 172.25.58.3 server4 metalogger server 172.25.58.4 客户端 client 172...原创 2020-02-13 19:39:11 · 390 阅读 · 0 评论 -
MFS分布式文件系统(一)关于MFS文件系统概念
1.什么是mfs?mfs出现的原因: 多台web服务器通过nfs共享一个存储,虽然业务上满足需求,但在性能与容量上无法胜任更高的要求,nfs服务器不堪重负,出现超时问题,同时也存在单点故障问题。尽管可以使用rsync同步数据到另一台服务器上做nfs服务的备份,但对提高整个系统的性能毫无帮助。可对nfs进行优化或者采取别的解决方案,但是优化并不能满足日益增多的客户端的性能要求...原创 2020-02-13 19:38:51 · 1194 阅读 · 0 评论 -
企业级负载均衡集群(rhel6)—通过fence设备解决集群节点之间争抢资源的现象(二)
HA (High Available)高可用集群—通过fence设备解决集群节点之间争抢资源的现象一、 HA简介HA(High Available)高可用集群,是减少服务中断时间为目的的服务器集群技术。是保证业务连续性的有效解决方案。集群,简单的来说就是一组计算机。一般有两个或者两个以上的计算机组成,这些组成集群的计算机被称为节点。其中由两个节点组成的集群被称为双机热备,即使用两台服...原创 2020-02-23 11:35:21 · 663 阅读 · 0 评论 -
企业级负载均衡集群——RHCS集群套件介绍(一)
一、RHCS集群的定义及相关概念1.1 RHCS集群的定义 RHCS是red hat cluster suite的缩写,也就是红帽子集群套件,RHCS是一个能提供高可用性,高经济性,负载均衡,存储共享且经济廉价的集群工具集合,它将集群系统中的三大经济架构融为一体,可以给web应用,数据库应用等提供安全,稳定的运行环境。 RHCS是一个功能完备的集群应用解决方案,它从应用的前端...原创 2020-02-23 11:34:50 · 335 阅读 · 0 评论 -
redis的三种集群方式
redis有三种集群方式:主从复制,哨兵模式和集群。1.主从复制主从复制原理:从服务器连接主服务器,发送SYNC命令; 主服务器接收到SYNC命名后,开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令; 主服务器BGSAVE执行完后,向所有从服务器发送快照文件,并在发送期间继续记录被执行的写命令; 从服务器收到快照文件后丢弃所有旧数据,载入收到的快照...原创 2020-02-02 21:16:51 · 194 阅读 · 0 评论 -
Hadoop(二)单机版、伪分布式和分布式的安装实现
Hadoop技术原理: Hdfs主要模块:NameNode、DataNode Yarn主要模块:ResourceManager、NodeManagerHDFS主要模块及运行原理:1)NameNode: 功能:是整个文件系统的管理节点。维护整个文件系统的文件目录树,文件/目录的元数据和 每个文件对应的数据块列表。接收用户的请求。2)DataNode:...原创 2019-12-22 01:31:31 · 279 阅读 · 0 评论 -
Hadoop(一)初步理解Hadoop
一.hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现的分布式文件系统Hadoop Distributed File System),简称HDFS。具有容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(hig...原创 2019-12-21 23:26:18 · 571 阅读 · 0 评论 -
linux下安装git并连接github
一、什么是GitGit是目前世界上最先进的分布式版本控制系统。Git是免费、开源的。说到git就不得不提起版本控制系统......上一篇博客有介绍到最初Git是为辅助 Linux 内核开发的,来替代 BitKeeper作者:Linux和Git之父李纳斯·托沃兹(Linus Benedic Torvalds)1969、芬兰优点:适合分布式开发,强调个体。 公共服务器压力和数...原创 2019-12-15 09:02:48 · 734 阅读 · 0 评论 -
git与版本控制
git:开源的最先进的分布式版本控制系统,没有之一 用以高效、高速的处理从很小到非常大的项目版本管理。1、版本控制版本控制(Revision control)是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史,方便查看更改历史记录,备份以便恢复以前的版本的软件工程技术。实现跨区域多人协同开发 追踪和记载一个或者多个文件的历史记录 组织和保护你的源代码和文档 统...原创 2019-12-15 09:02:27 · 235 阅读 · 0 评论 -
gitlab和genkins(genkins未完成)
可以看到github上只能是开源的,刚才由于发布到public上,所以别人也可以看到gitlab的安装:私网里用 server11、安装gitlab下载gitlab[root@server1 ~]# yum install -y policycoreutils-python #解决依赖性,然后再进行安装gitlab[root@server1 ~]# rpm -ivh ...原创 2019-12-19 15:37:11 · 371 阅读 · 0 评论 -
Ansible自动化运维(四)playbooke之roles应用(部署apache和zabbix)
一、前言关于roles的介绍 roles能够根据层次型结构自动装在变量文件、tasks以及handlers等。要使用roles只需要在playbook中使用 include指令即可。简单来讲,roles就是通过分别将变量、文件、任务、模板及处理器放置于单独的目录中,并可以便捷地include它们的一种 机制。角色一般用于基于主机构建服务的场景中,但也可以是用于构建守护进程等场景中。 ...原创 2020-01-19 18:07:12 · 484 阅读 · 0 评论 -
Ansible自动化运维(三)ansible应用之----变量、批量创建用户、批量处理文件、block和always的使用
http://www.ansible.com.cn/docs/YAMLSyntax.htmlansible的中文官方文档关于变量:第一个截图第一中标准第二个截图也是对的部署nginx时,在外网搜寻角色hostname 代替了 ansible_asdaasDm设备映射首先将rolos的变量清空,然后在playbook中进行定义变量:[devops@serve...原创 2020-01-19 18:07:21 · 831 阅读 · 0 评论 -
Ansible自动化运维(三)ansible之roles部署httpd和zabbix服务
一、前言关于roles的介绍 roles能够根据层次型结构自动装在变量文件、tasks以及handlers等。要使用roles只需要在playbook中使用 include指令即可。简单来讲,roles就是通过分别将变量、文件、任务、模板及处理器放置于单独的目录中,并可以便捷地include它们的一种 机制。角色一般用于基于主机构建服务的场景中,但也可以是用于构建守护进程等场景中。 ...原创 2019-12-05 20:34:59 · 521 阅读 · 0 评论 -
saltstack自动化运维(一)saltstack的使用教程以及应用(安装配置apache,nginx,haproxy+keepalived)
一、关于saltstack1、什么是saltstackSaltStack是一个服务器基础架构集中化管理平台,具备配置管理、远程执行、监控等功能。基于Python语言实现,结合轻量级消息队列(ZeroMQ)与Python第三方模块(Pyzmq、PyCrypto、Pyjinjia2、python-msgpack和PyYAML等)构建。通过部署SaltStack,我们可以在成千万台服务...原创 2019-11-26 23:38:32 · 570 阅读 · 0 评论 -
Ansible自动化运维(二)playbooks以及应用(部署apache和zabbix)
一、关于playbook1、引入playbook的概念:虽然ansible可以同时操作很多个主机,但是如果有些命令可以批量执行,而不用一条一条的打的话其实会更加理想,而ansible的playbook就提供了这样的功能,它其实也是一种类型的脚本,核心元素有这几个:1、Tasks <wbr>: 任务 2、varibales :变量 3、Templates:模板 4、Ha...原创 2019-11-29 10:38:53 · 355 阅读 · 0 评论 -
Ansible自动化运维(一)概念以及基本配置(免密,正则表达,lnventory文件,ad-hoc以及常用模块使用)
一、关于ansibleAnsible是什么?Ansible是一款运维自动化工具,功能是帮助运维实现IT自动化、降低人为操作失误、提高业务自动化率、提升一运维工作效率。常用于软件部署自动化、配置自动化、管理自动化、系统化系统人物、持续集成、;零宕机平滑升级。常见的部署管理工具由Chef、Puppet、SaltStack、Fabric。Ansible基于Python开发,集合了众多...原创 2019-11-21 20:16:30 · 1129 阅读 · 0 评论 -
基于docker的k8s集群管理
一、概述1.简介官方中文文档:https://www.kubernetes.org.cn/docsKubernets(k8s)是google在2014年发布的一个开源项目据说google的数据中心里运行着20多亿个容器,而且google十年前就开始使用容器技术最初 google开发了一个叫Borg的系统(现在命名为Omega)来调度如此庞大数量的容器和工作负载,在积累了多年的经验...原创 2019-11-16 15:33:57 · 548 阅读 · 0 评论 -
Docker(5)Docker仓库之(创建私有仓库,设置加密认证,远程主机连接私有仓库并且为私有仓库添加web界面)
1.什么是Docker 仓库?仓库是集中存放镜像文件的场所。有时候会把仓库和仓库注册服务器(Registry)混为一谈,并不严格区分。实际上,仓库注册服务器上往往存放着多个仓库,每个仓库中又包含了多个镜像,每个镜像有不同的标签(tag)。仓库分为公开仓库(Public)和私有仓库(Private)两种形式。最大的公开仓库是 Docker Hub,存放了数量庞大的镜像供用户下载国内的公开仓...原创 2019-11-13 22:55:54 · 1012 阅读 · 1 评论 -
Docker(3)具体的安装部署过程和一些简单应用(2048小游戏,nginx,ubuntu)
1.实验环境一台rhel7.3的虚拟机server1和一台rhel7.3的物理机主机信息 作用 server1(172.25.70.1) 搭建docker 物理机(172.25.70.250) 测试以及给server1提供资源 (1)为了保证我们的实验环境是纯净的,先在真机当中创建一个全新的快照并且开启(2)用真机ssh连接server1,这样操作起来更方...原创 2019-11-13 21:09:24 · 399 阅读 · 1 评论 -
Docker(1)初识Docker
认识Docker之前,先介绍一下容器的概念:Docker daemon( Docker守护进程):Docker daemon是一个运行在宿主机( DOCKER-HOST)的后台进程。可通过 Docker客户端与之通信。 Client( Docker客户端):Docker客户端是 Docker的用户界面,它可以接受用户命令和配置标识,并与 Docker daemon通信。图中, docke...原创 2019-12-20 16:19:26 · 153 阅读 · 0 评论 -
Docker(4)加速拉取镜像到本地----用阿里云
1.为什么要使用阿里云的镜像加速器?构建容器的镜像全部在下面这个网站里面,但是这个站点在国外,对于我们来说使用很不方便,下载非常慢国内的阿里云上有自己已经拉取过来的镜像可以供我们直接使用但是如果我们使用的镜像aliyun上面没有,那么我们也可以借助阿里云镜像加速器来拉取镜像国内从 Docker Hub 拉取镜像有时会遇到困难,此时可以配置镜像加速器。国内很多云服务商都提供了国内加速器服务,...原创 2019-11-13 21:22:45 · 925 阅读 · 1 评论 -
Docker (2)Docker中常用命令介绍
说明:在这里只是对docker所用到的基础命令,做一个预习,在后边的实验中,会用到这些命令~~~直接执行`docker`命令,你可以看到docker所支持的所有命令列表Commands: attach Attach local standard input, output, and error streams to a running container build ...转载 2019-11-09 21:27:04 · 138 阅读 · 0 评论 -
Docker(1)初识Docker
认识Docker之前,先介绍一下容器的概念:Docker daemon( Docker守护进程):Docker daemon是一个运行在宿主机( DOCKER-HOST)的后台进程。可通过 Docker客户端与之通信。 Client( Docker客户端):Docker客户端是 Docker的用户界面,它可以接受用户命令和配置标识,并与 Docker daemon通信。图中, docke...原创 2019-11-09 20:43:48 · 137 阅读 · 0 评论 -
Docker(7)Docker仓库之(私有仓库的加密认证和简单的web管理界面)
本地——>本地加密私有仓库的加密,将本地镜像上传到docker仓库中https://docs.docker.com/registry/insecure/ docker的官方文档-v 本地的目录-e 容器开启的端口-p 映射端口docker run -d --restart=always --name registry -v "$(pwd)"/cert...原创 2019-11-09 22:41:49 · 1130 阅读 · 0 评论 -
redis(四)nginx+redis+mysql实现读写分离
一、前言1.读写分离的背景实际的生产环境当中,客户端对数据库的读操作都是直接找redis拿数据的如果redis缓存里面没有数据,那么就会去找mysql拿数据,并且给redis中缓存一份redis中的数据有两种情况不能使用:数据过期了或者mysql中的数据更新了用户读的时候访问redis,用户写的时候访问mysql实际上读的需求量是很大的,redis刚好是把数据缓存在内存当中,响应速度也...原创 2019-11-08 22:15:05 · 978 阅读 · 0 评论 -
Docker(2)dockerfile的使用(创建镜像,网上拉取镜像)
1、创建镜像FROM指定base镜像,本地不存在就会从远程仓库下载(有网就行)[root@server1 docker]# pwd #在干净的目录下创建dockerfile镜像文件/mnt/docker #以u免运行时,有影响[root@server1 docker]# vim dockerfile [root...原创 2019-11-09 22:48:16 · 1843 阅读 · 1 评论 -
Mysql(五)读写分离(mysql-proxy)
读写分离可以用很多软件实现:mysql-proxy 、MyCat 、Amoeba在这里先演示proxy,其他下去自己看先看官网,官网没有el7版本的mysql-proxy,所以还是用6的1.mysql数据库的读写分离的基础知识(为什么要进行读写分离)对于很多大型网站(pv值百万、千万)来说,在所处理的业务中,其中有70%的业务是查询(select)相关的业务操作(新闻网站,插入一条新...原创 2019-11-01 22:09:35 · 251 阅读 · 0 评论 -
Mysql(四)mysql全同步复制(组复制)
关于组复制:详细解读组复制参考MySQL Group Replication(简称MGR)是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案。组复制是MySQL5.7版本出现的新特性, 它提供了高可用、高扩展、高可靠的MySQL集群服务。MySQL组复制分单主模式和多主模式,mysql 的复制技术仅解决了数据同步的问题,如果 master 宕机,意味着数据库管理员需要...原创 2019-11-01 21:49:01 · 927 阅读 · 0 评论 -
Mysql(三)mysql半同步复制
Mysql的几种同步复制异步复制(Asynchronous replication)MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整。全同步复制(Fully synchronou...原创 2019-11-01 21:23:40 · 99 阅读 · 0 评论 -
Mysql(二)Mysql基于position的主从复制(即异步复制)和基于GTID的主从复制
介绍主从复制前,应该先明白一个概念,就是数据备份数据备份是一种古老而有效的数据保护手段,早期的数据备份手段主要是数据冷备,即定期将数据复制到某种存储介质(磁带,光盘...)上并物理存档保管,如果系统存储损坏,那么就从冷备的存储中恢复数据冷备的优点是简单和廉价,成本和技术难度都较低,缺点是不能保证数据最终一致,由于数据是定期复制,所以不具有实施时性,所以备份的数据比系统中的数据陈旧。...原创 2019-10-31 22:46:36 · 763 阅读 · 0 评论 -
Mysql(一)初识Mysql
一、关于数据库:数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。每个数据库都有一个或多个不同的 API (应用程序接口)用于创建,访问,管理,搜索和复制所保存的数据。我们也可以将数据存储在文件中,但是在文件中读写数据速度相对较慢。 为什么呢?所以,现在我们使用关系型数据库管理系统(RDBMS)来存储和管理大数据量。所谓的关系型数据库,是建立在关系模型基础上...原创 2019-10-29 22:13:51 · 826 阅读 · 0 评论 -
redis(三)redis cluster(集群)——高可用
深入理解redis-cluster集群的引入~~~从主从-哨兵-集群可以看到redis的不断完善;主从复制是最简单的节点同步方案无法主从自动故障转移。哨兵可以同时管理多个主从同步方案同时也可以处理主从自动故障转移,通过配置多个哨兵节点可以解决单点网络故障问题,但是单个节点的性能压力问题无法解决。集群解决了前面两个方案的所有问题。一、关于高可用集群概述为什么要有集群呢?...原创 2019-11-01 22:12:21 · 373 阅读 · 0 评论 -
redis(二)redis的主从复制&&master的替换和故障恢复(用哨兵完成)
关于redis的概念请见我上一篇博客目录一、redis主从复制1、原理:4. 数据同步5.主从的缺点6.主从故障如何故障转移二、主从复制的实现实验环境准备:1.编译安装redis,安装完会自动启动2、在server2上安装3、配置主从:在server2上配置从三、配置redis高可用(哨兵)1、哨兵作用和架构2、哨兵实现的基本原理3、哨...原创 2019-11-01 22:12:00 · 2417 阅读 · 0 评论 -
redis(一)redis详解以及redis的三种集群方式
目录一、redis是什么?二、redis应用的场景有哪些?三、为什么要使用redis四、redis和mysql的区别五、redis的单线程和高性能六、redis的三种集群方式一、redis是什么?Redis是一个速度非常快的基于内存的支持Key-Value非关系数据库二、redis应用的场景有哪些?缓存缓存可以说是Redis最常用的功能之一了,合理...原创 2019-11-01 22:11:39 · 374 阅读 · 1 评论 -
Mysql(六)基于异步同步的MHA(高可用)架构
建议:在做MHA之前 不要和之前的实验混淆 做好gtid复制就好MHA是一套相对成熟的MySQL高可用方案,能做到在0~30s内自动完成数据库的故障切换操作,在master服务器不宕机的情况下,基本能保证数据的一致性(在有报错的时候,先测试主从数据是否同步)关闭server3上的proxykillall mysql-proxy#修改server3的配置:vim /etc/my....原创 2019-11-01 22:11:15 · 364 阅读 · 0 评论 -
Nginx(五)nginx服务的重定向和安全加密访问https
1.重定向(1)服务端配置cd /usr/local/nginx/conf/切换到nginx服务器的配置目录下vim nginx.conf 编辑配置文件当访问域名 www.westos.org时,实际上访问的是 /web/index.html文件128 server {129 listen 80; # 监听80端口130 server_n...原创 2019-10-23 20:52:09 · 220 阅读 · 1 评论 -
Nginx源码编译时的参数
--prefix= 指向安装目录--sbin-path 指向(执行)程序文件(nginx)--conf-path= 指向配置文件(nginx.conf)--error-log-path= 指向错误日志目录--pid-path= 指向pid文件(nginx.pid)--lock-path= 指向lock文件(nginx.lock)(安装文件锁定,防止安装文件被别人利用,或自己误操...转载 2019-10-23 16:54:52 · 142 阅读 · 0 评论