2016年08月_数据china

转载使用azkaban调度spark任务

Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。也可以用其代替cron来对周期性任务进行调度，并且更为直观，可靠，同时提供了美观的可视化管理界面。下文将对azkaban对spark离线任务调度进行简要说明。一. 简介该部分内容可参考官方文档：http://azkaban.github

2016-08-10 10:14:53 2824

转载部署ganglia3.7

环境centOS6.6gmetad节点关闭iptablegmetad和httpd只需要在一台节点安装，gmond需要在每台节点上安装。一.安装epel源sudo wget http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm sudo rpm -ivh epel

2016-08-10 09:17:24 397

转载 spark&&alluxio

概述Alluxio（在1.0版本之前名为Tachyon）是一个以内存分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外，Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快几个数量级。Spark使用Alluxio的好处有如下几点:数据可以长期存储在内存中

2016-08-10 08:56:43 547

转载 Alluxio之定位策略

Alluxio提供定位策略，用于确定应该选择哪个Worker来存储文件数据块。用户可以在CreateFileOptions中设置该策略以用于写文件，也可在OpenFileOptions中设置该策略用于向Alluxio中读文件。Alluxio支持自定义定位策略，内置策略包括： 1、LocalFirstPolicy 首先返回本地主机，如果本地Wo

2016-08-09 14:32:34 335

转载 Alluxio之IO选项：读写类型

一、读类型 1、CACHE_PROMOTE 如果读取的数据在Worker上时，该数据被移动到Worker的最高层。如果该数据不在本地Worker的Alluxio存储中，那么就将一个副本添加到本地Alluxio Worker中，用于每次完整地读取数据快。这是默认的读类型。 2、CACHE 如果该数据不

2016-08-09 14:27:30 458

转载 Alluxio层次化存储简介

一、分层存储种类 1、MEM (内存) 2、SSD (固态硬盘) 3、HDD (硬盘驱动器) 二、分层存储参数 1、alluxio.worker.tieredstore.levels，缺省值1 Alluxio Worker多层存储中的最大

2016-08-09 14:21:54 655

转载 Alluxio简介

一、Alluxio是什么？ Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。 Alluxio的前身为Tachyon。二、Alluxio应用场景 Alluxio居于传统大数据

2016-08-09 14:20:05 456

数据创造价值