Hadoop
文章平均质量分 77
hljlzc2007
大数据玩家
展开
-
hadoop中的Partitioner分区
hadoop的map/reduce中支持对key进行分区,从而让map出来的数据均匀分布在reduce上,当然,有时候由于机器间配置问题,可能不需要数据均匀,这时候也能派上用场。 框架自带了一个默认的分区类,HashPartitioner,先看看这个类,就知道怎么自定义key分区了。 public class HashPartitioner extends Partitioner {转载 2013-07-10 15:44:13 · 1392 阅读 · 1 评论 -
安装cloudera初体验
参考http://blog.javachen.com/hadoop/2013/03/24/manual-install-Cloudera-Hadoop-CDH/ 手动安装完cloudera后,悲剧发生了。。。启动DFS报找不到JAVA_HOME找不到的问题,我查看了一下我的环境变量,JAVA_HOME是已经设置好了,并生效了,但是还是出现这个莫名其妙的问题,后来想到hadoop_en原创 2013-08-06 16:52:42 · 4701 阅读 · 0 评论 -
hadoop常见错误
用eclipse做客户端的时候,会遇到内存溢出的问题13/06/25 19:15:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable13/06/25 19:15:21 WARN原创 2013-06-25 19:18:39 · 938 阅读 · 0 评论 -
Hadoop 伪分布式安装
Hadoop的安装分为本地模式、伪分布式模式、集群模式在这里演示伪分布式模式的安装和部署,以下将演示hadoop安装在redhat上的方法,首先要确保防火墙已经关闭。1. 安装JDK,设置环境变量,这里选择JDK1. 62. 下载hadoop1.1.2安装文件,hadoop-1.1.2.tar.gz3. 将该文件解压到linux机器上,配置hadoop原创 2013-06-18 17:58:01 · 1271 阅读 · 0 评论 -
对Hadoop中一段将字节码数组转换为Integer的代码的思考
在Hadoop的类org.apache.hadoop.io.WritableComparator中有如下一段代码,完成将Integer值序列化后对应的字节码数组重新反序列化为Integer的功能。[java] view plaincopy/** Parse an integer from a byte array. */ public转载 2013-08-02 11:22:25 · 729 阅读 · 0 评论 -
Fedora下配置GtiHub的SSH key
首先要创建一个github用户,在Fedora下生成一个新的SSH Key#cd ~/.ssh#ssh-keygen -t rsa -C "email address"Generating public/private rsa key pair.Enter file in which to save the key (/home/roy/.ssh/id_rsa): Enter原创 2013-08-29 14:54:13 · 1231 阅读 · 0 评论 -
Storm – Kafka – Cassandra for Big Data System
BackgroundTraditional log file aggregation is a respectable and scalable approach for supporting offline use cases like reporting or batch processing; but is too high latency for real-time proce转载 2013-10-27 21:28:32 · 3580 阅读 · 0 评论 -
最火爆的开源流式系统Storm vs 新星Samza
最火爆的开源流式系统Storm vs 新星Samza原创 2013-11-24 23:17:45 · 9135 阅读 · 2 评论