hadoop
per_time
在思索中尝试,于尝试里提升。
展开
-
hive的数据倾斜问题
在做Shuffle阶段的优化过程中,遇到 了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些 Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的执行是分阶段 的,map处理数据量的差异取决于上一个stage的reduce输出,所以如何将数据转载 2014-05-19 17:42:05 · 416 阅读 · 0 评论 -
hive的安装
1、安装 修改文件原创 2014-05-11 16:34:57 · 443 阅读 · 0 评论 -
hbase集群搭建 配置文件修改
1、说明 2、hbase集群搭建 解压 配置环境变量 修改文件 修改$HBASE_HOME/conf/hbase-env.sh文件 export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true 保存后退出 修改$HBASE_HOME/conf/hbase-site.xml hbase.rootdir原创 2014-05-11 14:21:06 · 685 阅读 · 0 评论 -
hadoop1 集群搭建
1、创建ssh 2、静态ip 3、原创 2014-05-02 18:55:09 · 409 阅读 · 0 评论 -
伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
环境说明 1、操作系统centos 6.5原创 2014-05-11 02:11:05 · 3540 阅读 · 0 评论 -
hadoop-hbase-zookeeper 集群的开关过程 命令
启动hadoop原创 2014-05-10 16:13:20 · 585 阅读 · 0 评论 -
hadoop作业调优参数整理及原理
http://www.alidata.org/archives/1470转载 2014-05-06 23:42:17 · 423 阅读 · 0 评论 -
腾讯大规模Hadoop集群实践
http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop转载 2014-05-03 21:21:56 · 380 阅读 · 0 评论 -
zookeeper 集群搭建
1、zookeeper 是用来保证zk集群的数据的事务的一致性 2、原创 2014-05-03 00:18:02 · 492 阅读 · 0 评论 -
大数据博客推荐
董西城的博客 http://dongxicheng.org/原创 2014-05-19 21:36:28 · 991 阅读 · 0 评论