alluxio
文章平均质量分 65
李国华技术博客
李国华技术博客
展开
-
【云星数据---大数据部集群署系列009】:alluxio全分布式部署方案
一、Alluxio软件包的下载与解压1.下载并分发alluxio1.官方网站http://www.alluxio.org2.下载页面http://www.alluxio.org/download3.下载地址http://downloads.alluxio.org/downloads/files/1.3.0/alluxio-1.3.0-hadoop2.7-bin.tar.gz4.解压命令tar原创 2017-11-09 12:45:28 · 17143 阅读 · 0 评论 -
【云星数据---大数据部集群署系列010】:alluxio命令行操作概览
1.alluxio命令行说明1.全路径使用方式$ALLUXIO_HOME/bin/alluxio fs ls -R alluxio://qingcheng11:19998/input/2.短路径使用方式$ALLUXIO_HOME/bin/alluxio fs ls -R /input/3.通配符使用方式3.1以input目录下spar开头的所有文件$ALLUXIO_HOME/bin/allu原创 2017-11-09 14:00:56 · 8261 阅读 · 0 评论 -
【云星数据---flink实战系列001】:flink简介
第一部分:flink概况一、flink简介 1.flink和spark类似,是一个通用的,基于内存计算的,大数据处理引擎。2.2009年是德国柏林理工大学一个研究性项目,用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu3.2014年被Apache孵化器所接受,迅速地成为了阿帕奇顶级项目ASF(Apache So原创 2017-11-09 15:28:16 · 871 阅读 · 0 评论 -
【云星数据---flink实战系列001】:flink简介
第一部分:flink概况一、flink简介 1.flink和spark类似,是一个通用的,基于内存计算的,大数据处理引擎。2.2009年是德国柏林理工大学一个研究性项目,用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu3.2014年被Apache孵化器所接受,迅速地成为了阿帕奇顶级项目ASF(Apache So原创 2017-11-09 15:28:35 · 5127 阅读 · 0 评论 -
【云星数据---mesos实战系列002】:mesos全分布式部署实战003--zookeeper全分布式部署准备
一、zookeeper部署的原因我们后续想通过zookeeper来实现mesos的master节点的HA(High Available)因此必须安装zookeeper。当然zookeeper在大数据生态圈中作用广泛。像Hadoop,Hbase,spark,kafka,flink等分布式系统都依赖zookeeper来做集群的状态管理。因此zookeeper算是一种基础的组件。二、zookeepe原创 2017-11-09 21:24:49 · 8179 阅读 · 0 评论 -
【云星数据---大数据部集群署系列011】:alluxio java API 实战--02键值对API
一、配置支持键值对存储alluxio支持键值对存储的机制。默认没有开启,需要自己去开启1.测试是否开启键值对存储1.测试命令./bin/alluxio runKVTest2.回显如下Alluxio key value service is disabled. To run this test, please set alluxio.keyvalue.enabledto be true and原创 2017-11-10 12:14:11 · 7989 阅读 · 0 评论 -
【云星数据---大数据部集群署系列011】:alluxio java API 实战--01基本API
一、alluxio编程API概述alluxio为我们提供了两种编程API。1.为了更好的性能,它提供了原生的JavaAPI.2.为了兼容Hadoop代码它提供了HadoopAPI。二、alluxio本地运行及数据准备由于JavaAPI在开发时在本地,它默认会连接本地alluxio,所以在开发时,建议启动本地alluxio.1.启动本地alluxio1.生成本地配置文件./bin/alluxio原创 2017-11-09 14:04:24 · 8854 阅读 · 0 评论