大数据
-水中月-
最穷不过要饭,不死终会出头
展开
-
Shuffle过程介绍
摘要:腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分:MapReduce和Spark,两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析,并对两个计算引擎的Shuffle过程进行比较。腾讯分布式数据仓库(Tencent distributed Data Warehouse, 简称TDW)基于开源软件Hadoop和Hive转载 2018-01-05 08:27:38 · 637 阅读 · 0 评论 -
Hbase,Zookeeper完全分布式安装
前段时间安装配置了hadoop集群,这两天想装个hbase然后用些数据学习学习。网上教程有点多也有点乱,摸索了很久,所以还是记录一下自己的配置经验。过程中看了些博客感觉还是不错的,分享一下: 安装配置教程: http://www.linuxidc.com/Linux/2012-12/76947.htm http://blog.csdn.net/lskyne/article/detail转载 2018-01-07 19:26:33 · 808 阅读 · 1 评论