- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 基于Zookeeper的分步式队列系统集成案例
前言软件系统集成一直是工业界的一个难题，像10年以上的遗留系统集成，公司收购后的多系统集成，全球性的分步式系统集成等。虽然基于SOA的软件架构，从理论上都可以解决这些集成的问题，但是具体实施过程，有些集成项目过于复杂而失败。随着技术的创新和发展，对于分步式集群应用的集成，有了更好的开源软件的支持，像zookeeper就是一个不错的分步式协作软件平台。本文将通过一个案例介绍Zookeeper的强大。目
2016-11-29 08:50:20
796
转载 Zookeeper的功能以及工作原理
问题导读：1.ZooKeeper是什么？ 2.ZooKeeper提供了什么？ 3.Zookeeper做了什么？1.ZooKeeper是什么？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2
2016-11-23 08:15:01
890
原创 Zookeeper之ACL控制
Access Control在分布式系统中重要性是毋庸置疑的，今天这篇文章来介绍一下Zookeeper中的Access Control(ACL)。1. 概述 传统的文件系统中，ACL分为两个维度，一个是属组，一个是权限，子目录/文件默认继承父目录的ACL。而在Zookeeper中，node的ACL是没有继承关系的，是独立控制的。Zookeeper的ACL，可以从三个维度来理解：一是scheme;
2016-11-22 15:51:27
871
转载 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
数据模型 Zookeeper 会维护一个具有层次关系的数据结构，它非常类似于一个标准的文件系统，如图 1 所示： Zookeeper 这种数据结构有如下这些特点： 每个子目录项如 NameService 都被称作为 znode，这个 znode 是被它所在的路径唯一标识，如 Server1 这个 znode 的标识为 /NameService/Server1 znode 可以有子节点目录
2016-11-22 00:11:31
442
原创 ZooKeeper分步式集群安装及java编程命令操作
目录 zookeeper介绍 zookeeper单节点安装 zookeeper分布式集群安装 zookeeper命令行操作 Java编程现实命令行操作zookeeper介绍zookeeper是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。zookeeper本身可以以Stan
2016-11-21 20:49:58
1780
转载 数据仓库中的Inmon与Kimball架构之争
对于数据仓库体系结构的最佳问题，始终存在许多不同的看法，甚至有人把Inmon和Kimball之争称之为数据仓库界的“宗教战争”，那么本文就通过对两位提倡的数据仓库体系和市场流行的另一种体系做简单描述和比较，不是为了下定义那个好，那个不好，而是让初学者更明白两位数据仓库鼻祖对数据仓库体系的见解而已。 首先，我们谈Inmon的企业信息化工厂。 2000年5月，W.H.Inmo
2016-11-20 00:23:17
15325
原创 Storage 模块整体架构
问题导读： 1、如何理解Spark模块整体架构？ 2、理解Spark中各个类的功能作用都有什么？ Storage模块负责了Spark计算过程中所有的存储，包括基于Disk的和基于Memory的。用户在实际编程中，面对的是RDD，可以将RDD的数据通过调用org.apache.spark.rdd.RDD#cache将数据持久化；持久化的动作都是由Storage模块完成的。包括Shuffle过程中
2016-11-17 09:00:51
973
转载 Spark初级入门详解
问题导读1.spark中什么是Application？ 2.spark中什么是Driver Program？ 3.Executor负责什么？ 4.什么是Stage？ 5.客户Spark程序（Driver Program）来操作Spark集群是通过哪个对象来进行的？ 6.创建SparkContext一般要经过几个步骤？ 7.Spark的运行模式取决于什么？ 8. RDD的共享变量有几种？
2016-11-15 08:47:35
921
原创 Flume内部原理
每个flume agent包含三个主要组件：source、channel、sink。 source是从一些其他产生数据的应用中接收数据的活跃组件，有自己产生数据的source，不过这些source通常用于测试目的，source可以监听一个或者多个网络端口，用于接收数据或者可以从本地文件系统读取数据，每个source必须至少连接一个channel，基于一些标准，一个source可以写入
2016-11-14 00:14:31
2727
转载 Spark 应用程序调优
对于很多刚接触Spark的用户来说，他们可能主要关心数据处理的逻辑，而对于如何高效运行Spark应用程序了解较少。由于Spark是一种分布式内存计算框架，其性能往往受限于CPU、内存、网络等多方面的因素，对于用户来说，如何在有限的资源下高效地运行Spark应用程序显得尤为重要。下面只针对Spark-On-Yarn的一些常用调优策略做详细分析。配置参数优化 资源申请参数 Spark-On-Yarn
2016-11-04 10:34:57
719
原创 Flume的安装和测试
Flume原理、安装和使用 1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。 2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。 3.agent里面包含3个核心组件：source、channel、sink。 3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、
2016-11-02 00:53:01
3366
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人