- 博客(55)
- 收藏
- 关注
RSS订阅原创 Hadoop完全分布式安装
完全分部式是真正利用多台Linux主机来进行部署Hadoop，对Linux机器集群进行规划，使得Hadoop各个模块分别部署在不同的多台机器上。实验环境：关闭selinux，iptables添加解析(3台)：172.25.0.117 server2172.25.0.118 server3172.25.0.119 server4关闭server2服务：[hadoop@server2 h...
2019-03-25 22:42:15
239
原创 Hadoop环境搭建(本地模式，伪分布模式)
一.什么是hadoop?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐...
2019-03-24 19:36:35
837
原创 Docker安装及镜像，容器管理
一.什么是Docker?Docker 是世界领先的软件容器平台。开发人员利用 Docker 可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用 Docker 可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用 Docker 可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为 Linux 和 Windows Server 应用发布新功能。Docker...
2019-02-15 20:37:10
361
原创 MFS高可用配置
实验环境：server6 172.25.0.122 mfsmasterserver7/8 172.25.0.123 / 172.25.0.124 chunkserverserver9 172.25.0.125 mfsmasterclient 172.25.0.16实验前完善...
2018-11-16 23:23:09
446
原创 MFS 分布式存储
MFS 特性:Free(GPL)通用文件系统,不需要修改上层应用就可以使用可以在线扩容,体系架构可伸缩性极强。部署简单。高可用,可设置任意的文件冗余程度(提供比 raid1+0 更高的冗余级别,而绝对不会影响读或写的性能,只会加速!)可回收在指定时间内删除的文件( “ 回收站 ” 提供的是系统级别的服务,不怕误操作了,提供类似 oralce 的闪回等高级 dbms 的即时回滚特性...
2018-11-15 21:04:45
683
原创 Saltstac之salt-ssh,salt-api,salt-syndic及数据库返回
1.salt-sshsalt-ssh 不需要安装minion服务对客户端进行管理。 1)将server7的minion服务关闭[root@server7 ~]# /etc/init.d/salt-minion stopStopping salt-minion:root:server7 daemon: OK2)master端安装salt-ssh,将server7的主机信息写入文件[r...
2018-11-14 18:09:18
371
原创 Saltstack部署keepalived高可用
实验环境：server6 172.25.0.122 (keepalived haproxy)server7 172.25.0.123 (httpd)server8 172.25.0.124 (nginx)[root@server6 ~]# cd /srv/salt/[root@server6 salt]# mkdir ke...
2018-11-13 23:20:28
177
原创 Saltstack之Grains和Pillar组件及JINJA模块
一.Grains组件grains是Saltstack最重要的组件之一，grains的作用是收集被控主机的基本信息，这些信息通常都是一些静态类的数据，包括CPU、内核、操作系统、虚拟化等，在服务器端可以根据这些信息进行灵活定制，管理员可以利用这些信息对不同业务进行个性化定制。1、用 grains 不同的方法来更改、推送、刷新1).在minion配置文件里找到grains节点进行添加或编辑...
2018-11-13 20:08:27
219
原创 Saltstack部署Nginx，Haproxy实现负载均衡
1.nginx源码编译安装[root@server6 salt]# mkdir nginx //在文件系统中创建nginx目录[root@server6 salt]# cd nginx/ [root@server6 nginx]# mkdir files //用于储存安装包[root@server6 nginx]# cd files/[ro...
2018-11-13 13:52:44
161
原创 Saltstack自动化安装部署httpd，php
SaltStack简介:SaltStack是一个服务器基础架构集中化管理平台，具备配置管理、远程执行、监控等功能，基于Python语言实现，结合轻量级消息队列（ZeroMQ）与Python第三方模块构建。通过部署SaltStack，我们可以在成千上万台服务器上做到批量执行命令，根据不同业务进行配置集中化管理、分发文件、采集服务器数据、操作系统基础及软件包管理等，SaltStack是运维人员...
2018-11-12 19:06:30
350
原创 zabbix-agent主动模式zabbix-proxy配置
1.关闭server端的的端口，改为主动模式[root@server3 ~]# rpm -ivh zabbix-agent-3.4.6-1.el6.x86_64.rpm[root@server3 ~]# vim /etc/zabbix/zabbix_agentd.conf[root@server3 ~]# /etc/init.d/zabbix-agent start...
2018-11-10 22:47:18
2164
1
原创 zabbix的数值监控、percona监控、添加JMX及自动报警
一、添加Zabbix数值监控1.Zabbix发布nginx[root@server4 ~]# yum install nginx-1.8.0-1.el6.ngx.x86_64.rpm -y[root@server4 ~]# cd /etc/nginx/conf.d/[root@server4 conf.d]# vim default.conf location /status ...
2018-11-10 22:21:31
225
原创 zabbix使用api添加及删除主机
1.查看zabbix监控系统的api接口在可以访问Zabbix内部的任何数据之前，需要登录并获得身份验证令牌。这可以使用user.login方法来完成。假想以标准Zabbix的Admin用户登录。那么JSON请求将是这样的：[root@server5 ~]# vim zabbix-api.shcurl -s -X POST -H 'Content-Type:application/js...
2018-11-07 16:35:36
2694
原创 zabbix监控的安装及部署
一.zabbix简介：Zabbix 是一个高度集成的网络监控解决方案,可以提供企业级的开源分布式监控解决方案,由一个国外的团队持续维护更新,软件可以自由下载使用。Zabbix 通过 C/S 模式采集数据,通过 B/S 模式在 web 端展示和配置。被监控端:主机通过安装 agent 方式采集数据,网络设备通过 SNMP 方式采集数据。Server 端:通过收集 SNMP 和 agen...
2018-11-07 13:49:59
374
原创 Mysql-proxy实现读写分离
读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。数据库的“写”（写10000条数据到oracle可能要3分钟）操作是比较耗时的。但是数据库的“读”（从oracle读10000条数据可能只要5秒钟）。所以读写分离，解决的是，数据库的写入，影响了查询的...
2018-10-14 17:16:03
177
原创 Redis的主从缓存,集群及作Mysql缓存服务器
redis 是一个高性能的 key-value 数据库。 redis 的出现,很大程度补偿了memcached 这类 keyvalue 存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了 Python,Ruby,Erlang,PHP 客户端,使用很方便。Redis 的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”);也可以把每一次数据变化都写...
2018-10-13 17:49:54
373
原创 Mysql组复制
组复制是一种可用于实现容错系统的技术。 复制组是一个通过消息传递相互交互的 server 集群。通信层提供了原子消息(atomic message)和完全有序信息交互等保障机制。 这些是非常强大的功能,我们可以据此架构设计更高级的数据库复制解决方案。MySQL 组复制以这些功能和架构为基础,实现了基于复制协议的多主更新。复制组由多个 server成员构成,并且组中的每个 server 成员可以...
2018-10-08 20:45:45
287
原创 Mysql并行复制，半同步
并行复制的原理在普通的主从复制架构中，slave服务器上有两个线程：IO线程和SQL线程。IO线程负责接收master的二进制日志（准确的说是二进制日志的event），SQL线程负责应用二进制日志（准确的说是relay-log）。在MySQL5.6版本中的并行复制中（需开启并行复制功能），SQL线程变为coordinator线程，判断是否可以并发执行：如可以并行执行，选择worker线...
2018-10-07 23:21:00
572
原创 Mysql主从复制（GTID），一主两从
复制原理：Mysql中有一种日志叫做bin日志（二进制日志）。这个日志会记录下所有修改了数据库的SQL语句（insert,update,delete,ALTER TABLE,grant等等）。主从复制的原理其实就是把主服务器上的ＢＩＮ日志复制到从服务器上执行一遍，这样从服务器上的数据就和主服务器上的数据相同了。MySQL 支持单向、异步复制,复制过程中一个服务器充当主服务器,而一个或多个...
2018-10-07 20:00:10
1812
原创 LNMP搭建及php+memcache
LNMP是指LNMP==Linux+Nginx+Mysql+PHP的结构体系。其工作原理如下：首先，浏览器发送http request请求到服务器（Nginx）,服务器响应并处理web请求，将一些静态资源（CSS，图片，视频等）保存服务器上，然后将php脚本通过接 口传输协议（网关协议）PHP-FCGI（fast-cgi）传输给PHP-FPM（进程管理程序）,PHP-FPM不做处理，然后PHP...
2018-10-05 19:34:39
729
原创 Haproxy+Fence+Pacemaker实现高可用
一.概念Fence主要在架构的作用为防止二个服务器同时向资源写数据，破坏了资源的安全性和一致性从而导致脑裂的发生。通过Haproxy实现对web服务的负载均衡及健康检查，pacemaker实现haproxy的高可用。Haproxy八种负载均衡算法(balance)：1.balance roundrobin ###轮询，软负载均衡基本都具备这种算法2.balance ...
2018-10-04 13:13:23
554
原创 Haproxy负载均衡，读写及动静分离
HAProxy 提供高可用性、负载均衡以及基于 TCP 和 HTTP 应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy 特别适用于那些负载特大的 web 站点, 这些站点通常又需要会话保持或七层处理。HAProxy 运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整 合进您当前的架构中, 同时可以保护你的 web ...
2018-10-03 20:14:26
161
原创 Nginx负载均衡
一.概念nginx主要的目的是代理。代理位于web客户端和web服务器之间，扮演“中间人”的角色。Http的代理服务器即是web服务器又是web客户端。Apache与Nginx的优缺点比较 1、nginx相对于apache的优点： 轻量级，同样起web 服务，比apache 占用更少的内存及资源 抗并发，nginx 处理请求是异步非阻塞的，而apache 则是阻塞型的，在高并发下ng...
2018-09-24 20:15:44
224
原创 搭建fullnat环境--内核编译
1.内核编译 （FULLNAT模式要重编LVS机器内核）查看机器的剩余空间free -m至少2G ，因为编译内核会读大量文件，同时往硬盘里写入信息，所以要有足够的空间，否则编译的速度会非常慢需要准备的安装包：kernel-2.6.32-220.23.1.el6.src.rpm asciidoc-8.4.5-4.1.el6.noarch.rpm newt-devel...
2018-09-24 12:32:17
377
原创 RHCS 高可用集群(luci+ricci+fence)
一.概念1、什么是RHCSRHCS是Red Hat Cluster Suite的缩写，也就是红帽子集群套件，RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合，它将集群系统中三大 集群架构融合一体，可以给web应用、数据库应用等提供安全、稳定的运行环境。更确切的说，RHCS是一个功能完备的集群应用解决方案，它从应用的前端访 问到后端的数据存储都提供了一个行之...
2018-09-20 21:44:09
213
原创 pacemaker+corosync实现高可用集群
一.概念什么是pacemaker,corosyncpacemaker作为linux系统高可用HA的资源管理器，位于HA集群架构中的资源管理，资源代理层，它不提供底层心跳信息传递功能。(心跳信息传递是通过corosync来处理的这个使用有兴趣的可以在稍微了解一下，其实corosync并不是心跳代理的唯一组件，可以用hearbeat等来代 替)。pacemaker管理资源是通过脚本的方式来执行...
2018-09-18 23:30:21
584
原创 VS TUN模式
Virtual Server via IP Tunneling 在VS/TUN 的集群系统中，负载调度器只将请求调度到不同的后端服务器，后端服务器将应答的数据直接返回给用户。这样，负载调度器就可以处理大量的请求，它甚至可以调 度百台以上的服务器（同等规模的服务器），而它不会成为系统的瓶颈。即使负载调度器只有100Mbps的全双工网卡，整个系统的最大吞吐量可超过 1Gbps。所以，VS/TUN可...
2018-09-18 21:19:28
592
原创 VS/NAT
VS/NAT 的优点是服务器可以运行任何支持 TCP/IP 的操作系统,它只需要一个 IP 地址配置在调度器上,服务器组可以用私有的 IP 地址。缺点是它的伸缩能力有限, 当服务器结点数目升到 20 时,调度器本身有可能成为系统的新瓶颈,因为在 VS/NAT 中请求和响应报文都需要通过负载调度器。Director Server 的配置1). 安装ipvsadm客户端2). 配置eth0...
2018-09-17 22:43:00
365
原创 Lvs DR
一、VS/DR通过直接路由实现虚拟服务器LVS/DR模式：VS/DR 利用大多数 Internet 服务的非对称特点,负载调度器中只负责调度请求,而服务器直接将响应返回给客户,可以极大地提高整个集群系统的吞吐量调度器和服务器组都必须在物理上有一个网卡通过不分断的局域网相连,如通过交换机或者高速的HUB 相连。VIP 地址为调度器和服务器组共享,调度器配置的 VIP 地址是对外可见的,用于接收虚...
2018-09-17 21:04:01
173
原创 Varnish
一.安装varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm下载安装并开启server2、server3的http服务二.配置1.server1 做后端服务器 （1）在/etc/sysconfig/varnish中更改varnish服务端口打开服务: service varnish...
2018-09-15 15:11:41
348
原创 Linux虚拟机封装
1.什么是封装系统系统封装是将一个完整的系统以拷贝的形式打包，然后用粘贴的形式安装在另外一个系统盘上，而正常安装则是通过Setup程序进行安装。它的好处是可以大大地节约时间并且可以在里面加入自己喜欢的软件等操作。2.封装系统为什么要使用虚拟机虚拟系统通过生成现有操作系统的全新虚拟镜像，它具有真实系统完全一样的功能。使用虚拟机封装系统对实体机不会造成任何损害，因为系统封装会对母系统进行 封包 压...
2018-09-13 11:34:29
682
原创 Python5(面向对象)
1,面向对象的基本概念 我们之前学习的编程方式就是面向过程的 面向过程和面向对象，是两种不同的编程方式 对比面向过程的特点，可以更好的了解什么是面向对象过程和函数(都是对一段功能的代码进行封装) 过程：是早期的一个编程概念 过程类似于函数，只能执行，但是没有返回值 函数：不仅能执行，还可以返回结果(return)面向对象的两个核心概念类：是对一群具有相同特征或行为的...
2018-09-06 17:07:21
237
原创 Python 4 (函数,装饰器)
1.函数 1)定义函数 如果不主动调用函数，函数是不会执行的 def say_hello(): print 'hello1' print 'hello2' print 'hello3'2)函数的调用 say_hello() def sum_2_sum(): """对两个数字的求和"""
2018-09-06 11:49:47
318
原创 python3(元组，列表，集合，字典)
1.列表 1)创建列表 数组:存储同一种数据类型的集合 scores=[12,13,14] 列表：(打了激素的数组):可以存储任意数据类型的集合列表里：可以存储不同的数据类型 s=[1,4,5,'ty'] print s,type(s)列表里面也可以嵌套列表(列表：也是一种数据类型) s=[1,4,2,[1,4,'aa']] print s,type(s)2)...
2018-09-02 22:40:02
1358
原创 Python 2（循环，字符串）
1.while循环 while 条件( ): 条件满足时,做的事情1 条件满足时,做的事情2 i = 1 while i < 3: i+=1 print 'hello'定义死循环> while True:>
2018-08-28 17:40:45
805
原创 python 1（变量，运算符）
pythen 编程风格： 统一缩进，没有分号注释： #  注释一行 ”’ ”’ 多行注释
2018-08-28 15:41:51
390
原创 ##Linux之apache##
一、安装 apache1.安装 apache 软件包：yum install httpd启动 apache 服务：systemctl start httpd；systemctl enable httpd查看监听端口：netstat -antlupe | grep httpd 默认端口是80默认发布目录 /var/www/html默认配置文件中...
2018-08-22 13:57:34
173
原创 ##NFS安装与配置##
一、安装NFS查看nfs是否安装 rpm -qa | grep nfs若没有则安装nfs包 yum install nfs-utils rpcbind 端口 111/20048-tcp 二、配置建立NFS目录 mkdir /westos vim /etc/exports 加入 /we...
2018-08-15 16:32:38
1138
原创 ##Samba服务##
samba服务：可用于将Linux文件系统作为CIFS/SMB网络文件共享1.samba 服务的安装和开启yum install samba samba-client samba-commen -y开启服务 systemcal start smb systemctl enable smb2.用户管理 添加用户（在本机器中必须存在）：...
2018-08-15 15:06:10
264
原创 ###ftp服务####
##1.ftp的启用 yum install vsftpd systemctl start vsftpd systemctl enable vsftpd firewall-cmd --permanent --add-service=ftp firewall-cmd --reload ftp://172.25.254.100##2.ftp的基本信息##访问的...
2018-08-08 15:27:03
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人