集群
李俊的博客
务实浪漫主义
展开
-
zookeeper集群、kafka集群、Hadoop高可用
一、zookeeper集群1.1 zookeeper概述1.1.1 什么是zookeeperZooKeeper是一个分布式的协调服务1.1.2 ZooKeeper能干什么ZooKeeper是用来保证数据在集群间的事务性一致1.1.3 zookeeper 应用场景1. 集群分布式锁2. 集群统一命名服务3. 分布式协调服务1.2 zookeeper 角色与特性...原创 2018-09-02 14:35:14 · 1977 阅读 · 1 评论 -
hadoop分布式集群 、 分布式集群节点管理 、 hdfs扩展应用
一、完全分布式1.1 系统规划1.1.1 Hadoop 三大核心组件– 分布式文件系统– HDFS 已经部署完毕– 分布式计算框架– mapreduce– 集群资源管理– yarn1.1.2 系统架构1.2 安装部署1.2.1 mapred配置1. 分布式计算框架 mapred-site.xml– 改名~] # mv mapred-site.xml...原创 2018-09-01 09:03:35 · 1172 阅读 · 0 评论 -
hadoop核心组件介绍、HDFS 分布式文件系统
一、大数据与Hadoop1.1 大数据简介1.1.1 大数据的定义– 大数据由巨型数据集组成,这些数据集大小常超出人类在可接受时间下的收集、使用、管理和处理能力。1.1.2 大数据能做什么– 把数据集合幵后进行分析可得出许多额外的信息和数据关系性,可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定即时交通路况等;这样的用途正是大型数据集盛行的原因1.2 ...原创 2018-08-30 22:36:15 · 4983 阅读 · 0 评论 -
Cluster01 - 存储技术与应用ISCSI技术应用、udev配置、NFS网络文件系统、Multipath多路径
一、存储技术与应用1.1 存储概述1.1.1 存储的目标• 存储是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问• 一方面它是数据临时或长期驻留的物理媒介• 另一方面,它是保证数据完整安全存放的方式或行为• 存储就是把这两个方面结合起来,向客户提供一套数据存放解决方案1.1.2 存储技术分类 [常见的存储技术有三种 D...原创 2018-08-03 22:16:50 · 777 阅读 · 0 评论 -
Cluster02 - 集群LVS简介 LVS-NAT集群 LVS-DR集群
一、集群及LVS简介1.1 集群简介1.1.1 什么是集群• 将很多服务器集中起来一起,提供同一种服务,在客户端看来就象是只有一个服务器• 可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益• 一组通过高速网络互联的计算组,并以单一系统的模式加以管理• 任务调度是集群系统中的核心技术1.1.2 集群目的• 提高性能– 如计算密集...原创 2018-08-08 09:54:18 · 468 阅读 · 0 评论 -
Cluster03 - HAProxy服务器 、 Keepalived+LVS、Keepalived+haproxy
一、Haproxy服务器1.1 HAProxy概述1.1.1 HAProxy简介• 它是免费、快速并且可靠的一种解决方案• 适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理• 提供高可用性、负载均衡以及基于TCP和HTTP应用的代理1.1.2 衡量负责均衡器性能的因素• Session rate 会话率– 每秒钟产生的会话数• Ses...原创 2018-08-08 22:58:10 · 513 阅读 · 0 评论 -
Cluster04 - Ceph概述 部署Ceph集群 Ceph块存储
ceph快照:可用做备份一、ceph概述1.1 什么是分布式文件系统• 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连• 分布式文件系统的设计基于客户机/服务器模式1.2 常用分布式文件系统• Lustre• Hadoop• FastDFS• Ce...原创 2018-08-09 21:47:32 · 1224 阅读 · 0 评论 -
Cluster05 - 块存储应用案例 分布式文件系统 对象存储
一、块存储应用案例目的:KVM虚拟机调用Ceph镜像作为虚拟机的磁盘。1.1 准备实验环境1.1.1 创建磁盘镜像• 为虚拟机创建磁盘镜像[root@node1 ~]# rbd create vm1-image --image-feature layering --size 10G [root@node1 ...原创 2018-08-11 16:09:00 · 1069 阅读 · 0 评论 -
三大主流负载均衡软件对比(LVS+Nginx+HAproxy)
LVS:优点 :1、抗负载能力强、性能高,能达到F5硬件的60%;对内存和cpu资源消耗比较低2、工作在网络4层,通过vrrp协议转发(仅作分发之用),具体的流量由linux内核处理,因此没有流量的产生。3、稳定性、可靠性好,自身有完美的热备方案;(如:LVS+Keepalived)4、应用范围比较广,可以对所有应用做负载均衡;5、支持负载均衡算法:rr(轮循)、wrr(带权轮循)...转载 2018-08-12 09:04:05 · 1271 阅读 · 0 评论