hadoop
关注
分享
扫一扫
种菜的
这个作者很懒，什么都没留下…
展开
-
hadoop2.0 新一代map reduce 框架 yarn 配置
很久不写 BO-KE 了,来一篇吧,记住这个成功的一刻,把几个主要文件贴出来:core-site.xml: fs.defaultFS hdfs://fc20:9000 hadoop.tmp.dir /home/ljq/hadoop/tm原创 2014-05-08 20:57:56 · 4846 阅读 · 0 评论 -
hive连接hadoop错误, callfrom "fc20/192.168.0.102" to loaclhost:9000
虽然hive连接hadoop错误,但是hadoop执行原创 2014-05-14 16:18:53 · 2334 阅读 · 0 评论 -
Hive mapjoin 与 Bucket mapjoin
今天研究了一下hive中的mapjoin和bucketmap原创 2014-05-15 18:51:03 · 4671 阅读 · 0 评论 -
hadoop配置选项的默认值-官方链接
hadoop一些默认配置值http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml转载 2014-05-08 21:01:47 · 1156 阅读 · 0 评论 -
hive优化之------控制hive任务中的map数和reduce数
文章源地址:http://sunjia-704471770-qq-com.iteye.com/blog/1635966转载 2014-05-14 16:24:04 · 1154 阅读 · 0 评论 -
hive merge小文件
当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并当然，在我们向一个表写数据时，也需要注意输出文件大小1. Map输入合并小文件对应参数：set mapred.max.转载 2014-05-14 16:59:29 · 686 阅读 · 0 评论 -
ganglia在hadoop中的配置:hadoop-metrics2.properties
ganglia3.6.0 hadoop2.0.0-cdh4.2.0 使用 hadoop-metrics2.properties, 在文件中添加以下内容,原创 2014-07-10 19:05:51 · 5152 阅读 · 0 评论 -
ganglia3.6.0 监控 Hadoop 2.0.0-cdh4.2.0
1. 安装软件包,yum方式,源码方式以后再研究.yum ganglia-gmetad原创 2014-07-10 18:18:39 · 1949 阅读 · 0 评论