01 Docker概念和部署 因为 Docker 轻便、快速的特性,可以使应用达到快速迭代的目的。每次小的变更,马上就可以看到效果,而不用将若干个小变更积攒到一定程度再变更。每次变更一小部分其实是一种非常安全的方式,在开发环境中能够快速提高工作效率。Docker 容器能够帮助开发人员、系统管理员、质量管理和版本控制工程师在一个生产环节中一起协同工作。制定一套容器标准能够使系统管理员更改容器的时候,程序员不需要关心容器的变化,而更专注自己的应用程序代码。从而隔离开了开发和管理,简化了开发和部署的成本。
OpenStack概论和部署 相信大家都听到很多的阿里云、腾讯云、百度云等等这些词,那到底什么是云计算?云计算又能做什么?云计算(cloud computing)是一种基于网络的超级计算模式,基于用户的不同需求,提供所需的资源,包括计算资源、存储资源、网络资源等。云计算服务运行在若干台高性能物理服务器之上,提供每秒10万亿次的运算能力,可以用于模拟核爆炸、预测气候变化以及市场发展趋势。云计算有广义和狭义之分。狭义的云计算是指通过网络按需向用户提供 IT基础设施,包括硬件、平台和软件,提供资源的网络被称为"云”。
Hadoop的概念 目前,有很多大数据处理系统可以处理大数据,如表名称类型说明Hadoop开源Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。Spark开源类似Hadoop MapReduce的并行框架,用于快速处理大量数据。Storm开源实时的、分布式以及具备高容错的计算系统。MongoDB开源面向文档的NoSQL数据库,用于存储和检索键值对数据。商用。
GFS分布式文件系统 GlusterFS 是一个开源的分布式文件系统,同时也是 Scale-Out 存储解决方案 Gluster的核心,在存储数据方面具有强大的横向扩展能力,通过扩展不同的节点可以支持数 PB 级别的存储容量。GlusterFS 借助 TCP/P 或 InfiniBand RDMA 网络将分散的存储资源汇聚在一起,统一提供存储服务,并使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间以及无元的设计,可为各种不同的数据负载提供优异的性能。
squid代理服务器 标准的代理缓冲服务器一个标准的代理缓冲服务被用于缓存静态的网页(例如:html文件和图片文件等)到本地网络上的一台主机上(即代理服务器)。当被缓存的页面被第二次访问的时候,浏览器将直接从本地代理服务器那里获取请求数据而不再向原web站点请求数据。这样就节省了宝贵的网络带宽,而且提高了访问速度。但是,要想实现这种方式,必须在每一个内部主机的浏览器上明确指明代理服务器的IP地址和端口号。客户端上网时,每次都把请求送给代理服务器处理,代理服务器根据请求确定是否连接到远程web服务器获取数据。
RabbitMQ消息队列 一个浏览器上的WebSocket库,支持在不支持WebSocket的旧浏览器上模拟WebSocket连接,这里可能是为RabbitMQ的Web客户端定制的。百度网盘为您提供文件的网络备份、同步和分享服务。可能是RabbitMQ用于LDAP身份验证的插件,但这里的版本表明它可能包含了对LDAP支持的自定义或额外更新。支持AMQP 1.0协议的RabbitMQ插件,允许RabbitMQ与遵循AMQP 1.0的客户端进行通信。RabbitMQ管理插件的可视化工具,用于以图形方式显示RabbitMQ的内部状态。
zookeeper+kafka群集 ZooKeeper 是一种分布式协调技术,所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种共享资源,防止造成资源竞争(脑裂)的后果。脑裂是指在主备切换时,由于切换不彻底或其他原因,导致客户端和 slave 误以为出现两个 activemaster,最终使得整个集群处于混乱状态。
Redis 集群方式 集群,即 Redis cluster, 是 Redis 3.0开始引入的分布式存储方案。集群由多个节点(Node)组成,Redis 的数据分布在这些节点中。集群中的节点分为主节点和从节点;只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。
01 NoSQL之Redis配置与优化 Redis(RemoteDictionaryServer,远程字典型)是一个开源的、使用C语言编写的NOSQL数据库。Redis 基于内存运行并支持持久化,采用 key-value(键值对)的存储形式是目前分布式架构中不可或缺的一环。Redis服务器程序是单进程模型,也就是在一台服务器上可以同时启动多个Redis 进程,而 Redis 的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis 进程,当多个客户端同时访问时,服务器的处理能力是会有一定程度的下降;
05 Nginx+Tomcat负载均衡、动静分离群集 在Web应用开发中,随着访问量的增加,单个服务器往往难以承受高并发请求,同时对于静态资源和动态资源的处理也需要进行分离以提高效率。Nginx因其强大的静态资源处理能力和高并发支持,常被用作反向代理和负载均衡器;而Tomcat则以其轻量级和强大的Servlet/JSP支持,成为处理动态请求的首选。本文将详细介绍如何搭建Nginx+Tomcat的负载均衡与动静分离群集。
04 Haproxy搭建Web集群 Haproxy是目前比较流行的一种群集调度工具,同类群集调度工具有很多,如LVS和Nginx。相比较而言,LVS 性能最好,但是搭建相对复杂;Nginx 的upstream模块支持群集功能,但是对群集节点健康检查功能不强,高并发性能没有Haproxy好。Haproxy 官方网站是。
03 LVS+Keepalived群集 Keepalived 的官方网站位于,本章将以 YUM 方式讲解Keepalived 的安装、配置和使用过程。在非 LVS 群集环境中使用时,Keepalived 也可以作为热备软件使用。
01 LVS负载均衡群集 LVS(Linux Virtual Server)是Linux虚拟服务器的简称,是一个由章文嵩博士发起的自由软件项目。LVS工作在内核的TCP/IP协议栈上,采用IP负载均衡技术和基于内容请求分发技术,将请求均衡地转移到不同的服务器上执行,从而实现高性能、高可用的服务器集群。LVS已成为Linux标准内核的一部分,无需重新编译内核即可使用。
06 MySQL主从复制与读写分离 在实际的生产环境中,如果对数据库的读和写都在同一个数据库服务器中操作,无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,一般来说都是通过主从复制(Master-Slave)来同步数据,再通过读写分离来提升数据库并发负载能力的方案来进行部署与实施。如图 所示,一台主 MySQL 服务器带两台从 MySQL 服务器做数据复制,前端应用在进行数据库写操作时,对主服务器进行操作,在进行数据库读操作时,对两台从服务器进行操作,这样大量减轻了对主服务器的压力。
2. MySQL数据恢复和备份 2.1 数据备份的重要性数据的价值对于企业来说至关重要,数据的安全性及可靠性是运维工作的重点。数据丢失可能由多种原因引起,如程序错误、人为操作错误、运算错误、磁盘故障以及灾难性事件(如火灾、地震)等。2.2 数据库备份类型从物理与逻辑的角度分类:物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)进行备份。分为冷备份(数据库关闭状态下进行)、热备份(数据库运行状态下进行,依赖日志文件)和温备份(数据库锁定表格但可读状态下进行)。