![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 78
jasonliaoxiaoge
这个作者很懒,什么都没留下…
展开
-
hadoop部署异常
异常:java.io.IOException: File /home/pplive/data/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1 at org.apache.hadoop.hdfs.server.namenode.FSNamesys原创 2013-03-12 17:19:16 · 619 阅读 · 0 评论 -
Hadoop0.23.0初探1---前因后果
最近Hadoop社区最火热的事情莫过于Hortonworks公布了Hadoop最新版本(0.23.0),它标志着Hadoop新时代的到来。本文作为系列文章的第一篇,将结合Hadoop-0.20.*的特点,以及Hadoop核心理念,分析Hadoop新版本的特征。1、Hadoop 0.20.*的局限性HDFS单NameNode的不足 1)扩展性问题。可以随着数据量进行水平扩转载 2013-03-06 14:32:12 · 488 阅读 · 0 评论 -
Hadoop0.23.0初探2---HDFS Federation部署
Hadoop的目录文件结构:.|-- LICENSE.txt|-- NOTICE.txt|-- README.txt|-- bin|-- conf|-- etc|-- export_hadoop.sh|-- hadoop-0.23.0-gridmix.jar|-- hadoop-0.23.0-streaming.jar|-- hadoop-mapredu转载 2013-03-06 14:39:31 · 536 阅读 · 0 评论 -
中小规模Hadoop集群优化
人人网的数据平台分为事前和事后两部分。事前数据分析是在开发阶段就有系统规划的统计点,事后数据分析恰恰相反,一般统计的是现有业务的历史。这两种方法是互补的,事先埋点的粒度更细,实时性更强,事后统计的适用范围更广,调整更灵活。我们的事后数据分析用Hadoop搭建。这个集群从上个月开始遇到一系列性能问题,在逐一解决的过程中,积累了以下的优化经验。1. 网络带宽人人网的Hadoop集群现在有5转载 2013-03-01 10:58:01 · 406 阅读 · 0 评论 -
hadoop对于压缩文件的支持及算法优缺点
【IT168 技术】hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,hadoop能够自动为我们 将压缩的文件解压,而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名(比如lzo,gz,bzip2等),hadoop就会根据扩展名去选择解码器解压。压缩格式工具算法文件扩展名多文件可分割性DEFLATE转载 2013-02-20 18:51:58 · 411 阅读 · 0 评论 -
RCFile SequenceFile and Avro comparison Test
Hive原始文件1421M,按snappy压缩之后结果: select count(*) from tableselect count(*) from (select key from table where key='') a; file typet原创 2013-05-17 10:19:03 · 1494 阅读 · 0 评论 -
Yarn在Shuffle阶段内存不足问题(error in shuffle in fetcher)
在Hadoop集群(CDH4.4, Mv2即Yarn框架)使用过程中,发现处理大数据集时程序报出如下错误:13/12/02 20:02:06 INFO mapreduce.Job: map 100% reduce 2%13/12/02 20:02:18 INFO mapreduce.Job: Task Id : attempt_1385983958793_0001_r_000000_1,转载 2014-11-20 09:28:05 · 1542 阅读 · 0 评论 -
【Hadoop】mahout推荐hadoop偏好矩阵-PreparePreferenceMatrixJob
mahout推荐包括两部分,一部分是单机版的推荐,主要是以org.apache.mahout.cf.taste.*包下面;另一种则是hadoop版本的推荐主要是以org.apache.mahout.cf.taste.hadoop.*包下面。下面我们针对hadoop版本进行分析。在org.apache.mahout.cf.taste.hadoop.item包下面的RecommenderJob开始。转载 2014-10-20 15:02:23 · 595 阅读 · 0 评论