![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
tyj2788540
这个作者很懒,什么都没留下…
展开
-
配置hadoop 使用fair scheduler调度器
hadoop版本为cloudera hadoop cdh3u3 配置步骤为 1. 将$HADOOP_HOME/contrib/fairscheduler/hadoop-fairscheduler-0.20.2-cdh3u3.jar拷贝到$HADOOP_HOME/lib文件夹中 2. 修改$HADOOP_HOME/conf/mapred-site.xml配置文件转载 2012-11-17 10:13:52 · 787 阅读 · 0 评论 -
hadoop目录
参数 描述 默认 配置文件 例子值 dfs.name.dir name node的元数据,以,号隔开,hdfs会把元数据冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉 {hadoop.tmp.dir} /dfs/name hdfs-site.xm /hadoop/hdfs/name dfs.name.edits.di转载 2012-12-25 16:35:08 · 121 阅读 · 0 评论 -
hadoop端口号列表
常用的端口配置 HDFS端口 参数 描述 默认 配置文件 例子值 fs.default.name namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address NameNode web管理端口 5007转载 2012-12-25 13:39:45 · 2942 阅读 · 1 评论 -
Hadoop SSH配置,启动 输入密码 解决
1. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 2.cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 这两步可以实现,本地 ssh localhost,配置完后,最好先 ssh 一下,这样可以生成一些东西到 ~/.ssh/known_hosts 如果是 伪分布式的,ssh 已经配置完成了。 有的系统,原创 2012-11-16 17:41:01 · 2286 阅读 · 0 评论 -
hadoop reduce 复制不过来的问题
hadoop reduce 复制阶段 , 有时候 一直停留一个 数据的复制,一直复制不过去。 reduce > copy (135 of 159 at 16.00 MB/s) 如果出现这样的问题,不多数原因是因为 hostname 和 hosts 配置的问题。 1. hostname 和 slaves 中配置一致。 2. hosts 中必须配置 别名,别名 和host原创 2013-01-17 14:50:54 · 870 阅读 · 0 评论 -
Apache Mahout 简介
在信息时代,公司和个人的成功越来越依赖于迅速有效地将大量数据转化为可操作的信息。无论是每天处理数以千计的个人电子邮件消息,还是从海量博客文章中推测用户的意图,都需要使用一些工具来组织和增强数据。 这其中就蕴含着机器学习 领域以及本文章所介绍项目的前景:Apache Mahout(见 参考资料)。 机器学习是人工智能的一个分支,它涉及通过一些技术来允许计算机根据之前的经验改善其输出。此领域与数转载 2013-02-19 15:48:08 · 407 阅读 · 0 评论 -
Pig对于数据倾斜Join的优化原理
Pig对于数据倾斜Join的优化原理 1、对数据抽样 2、根据样本数据,估计出某个key的所有的记录数以及所占的总内存,pig.skewedjoin.reduce.memusage 控制reduce消耗内存比例,再计算出某个key所需要的reduce个数,以及reduce的总数。 3、将结果存一个文件中,相当于索引文件,格式为:(swpv,0,3), (swps,4,5)(说明:,, )原创 2014-03-21 17:59:24 · 1236 阅读 · 0 评论