hadoop
zxsted
这个作者很懒,什么都没留下…
展开
-
hadoop单元测试方法--使用和增强MRUnit
http://jen.iteye.com/blog/1003862 1前言 hadoop的mapreduce提交到集群环境中出问题的定位是比较麻烦的,有时需要一遍遍的修改代码和打出日志来排查一个很小的问题,如果数据量大的话调试起来相当耗时间。因此有必要使用良好的单元测试手段来尽早的消除明显的bug(当然仅有单元测试是不够的,毕竟跟集群的运行环境还是不一样的)。转载 2013-12-10 13:30:19 · 542 阅读 · 0 评论 -
Shark简介、部署及编译小结
Shark简介 Shark即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据库里的表信息,实际HDFS上的数据和文件,会由Shark获取并放到Spark上运算。Shark的特点就是快,完全兼容Hive,且可以在shell模式下使用rdd2sql()这样的API,把HQL得到的结果集,继续在scal转载 2013-12-11 01:41:23 · 643 阅读 · 0 评论 -
【一周观察】动辄9位数以上的投资,云数据中心缺口巨大!
移动互联、云计算、大数据、物联网等新技术与应用的飞速增长,数据中心已经成为一类稀缺资源,尤其是动辄9位数以上投资的云数据中心。尽管悄无声息,但国内云数据中心建设已经进入跑马圈地的阶段。 【CSDN云计算频道观察】数据中心(Data Center),毫无疑问,是一整套复杂的设施。不仅仅包括IT系统(服务器、存储、网络)和其它与之配套的设备(供电、制冷与空调系统)与软件监控与管理系统,还包含转载 2013-12-11 09:40:20 · 2016 阅读 · 0 评论 -
手动装配Hadoop Cloudera CDH4.2版本
原文地址:http://www.myexception.cn/cloud/1343006.html 1 手动安装Hadoop Cloudera CDH4.2版本 此文由本人调试整理通过,转载请注明出处,谢谢! 目录 第1章 概要说明4 1.1 Hadoop是什么?4 1.2 为什么选择CDH版本?4 1.3 集群配置环境4 1.4 网络结构图5 第2章 安装hadoop转载 2013-12-29 14:34:03 · 1014 阅读 · 1 评论