csdnwindnorth的博客

Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通...

什么是Spark？ 官网：http://spark.apache.org 我的翻译：Spark是一个针对大规模数据处理的快速通用引擎 Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包...

Cloudera Manager cloudera manager的概念 简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 cloudera manager的功能 1.管理：对集群进行管理，如添加、删除节点等操作。 2.监控：监控...

Zookeeper概述 Zookkeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目，Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护，域名服务，分布式同步，组服务等。 特点 Zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群。 Leader ： 负责进行投票投票的发起和决议，...

一、Flume 简介 1.Flume 提供了一个分布式的，可靠的，对大量数据的日志高效收集，聚集，移动的服务，Flume 只能在 Unix 环境下运行。 2.Flume 基于流式架构，容错性强，也结构简单。 3.Flume，Kafka 用来实时数据收集，Spark，Flume 用来实时处理数据，impala 用来实时查询。 二、Flume 角色 1.source 用于采集数据，source 是产...

Hive基本概念 1.什么是Hive Hive：是由Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL/SQL 转化为 MapReduce 程序。 Hive 处理的数据储存在 HDFS。 Hive 分析数据的底层实现是 MapReduce。 执行程序运行在 y...

概述 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示： (1) 通过Ha...

HBaes介绍 HBase简介 HBase是一个分布式的、面向列的开源数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 大：上亿行、百万列 面向列：面向列（簇）的存储和权限控制，列（簇）独立检索 稀疏：对于为空(null)的列，并不占用存储空间，因此，表的设计的非常的稀疏 HBase的角色 HMaster 功能： (1) 监控RegionServ...