Hadoop
咕噜大大
我是咕噜大大
展开
-
Hadoop Mapreduce本地调试
Mapreduce 是Hadoop上一个进行分布式数据运算和统计的框架,但是每次运行程序的时候都需要将程序打包并上传的集群环境中运行,这就会让程序的调试变得十分不方便。所以在这里写下这篇博客和大家交流学习如何在本地调试Mapreduce程序。 我的本地开发环境是Mac10.11.4, Hadoop 2.6.4, 集群操作系统是centos6.7 MapRedu原创 2016-04-16 19:39:48 · 9668 阅读 · 0 评论 -
Flume+Hadoop+Hive的离线分析系统基本架构
最近在学习大数据的离线分析技术,所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构,实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个门,原创 2016-05-31 01:01:11 · 21173 阅读 · 3 评论