- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive参数hive.mapred.mode分析
Hive配置中有个参数hive.mapred.mode，分为nonstrict，strict，默认是nonstrict如果设置为strict，会对三种情况的语句在compile环节做过滤：1. 笛卡尔积Join。这种情况由于没有指定reduce join key，所以只会启用一个reducer，数据量大时会造成性能瓶颈
2013-09-26 11:43:44
18298
1
原创 利用SemanticAnalyzerHook来过滤不加分区条件的Hive查询
我们Hadoop集群中将近百分之80的作业是通过Hive来提交的，由于Hive写起来简单便捷，而且我们又提供了Hive Web Client，所以使用范围很广，包括ba，pm，po，sales都在使用hive进行ad-hoc查询，但是hive在降低用户使用门槛的同时，也使得用户经常写不合理开销很大的语句，生成了很多的mapreduce job，占用了大量slot数，其中最典型的例子就是分区表查询，不指定分区条件，导致hive没有做partition pruner优化，进而读入了所有的表数据，占用大量IO和计
2013-09-24 18:52:32
5935
3
原创 Spark安装部署
Spark是UC Berkeley AMPLab开发的类MapRed计算框架。MapRed框架适用于batch job，但是由于它自身的框架限制，第一，pull-based heartbeat作业调度。第二，shuffle中间结果全部落地disk，导致了高延迟，启动开销很大。而Spark是为迭代式，交互式计算所生的。第一，它采用了actor model的akka作为通讯框架。第二，它使用了RDD分
2013-09-23 10:44:32
11524
1
原创 Hive Server 2 调研，安装和部署
我们使用Hive Server 1已经很长时间了，有用户ad-hoc query，hive-web, wormhole，运营工具等都是通过hive server来提交语句。但是hive server极其不稳定，经常会莫名奇妙假死，导致client端所有的connection都被block住了。对此我们不得不配置一个crontab检查脚本，会不断执行"show tables"语句来检测server是否假死，如果假死，只能杀死daemon进程重启。另外Hive Server 1的concurrency支持不好，
2013-09-17 16:28:46
23892
2
原创 hive 0.10 0.11新增特性综述
我们的hive版本升迁经历了0.7.1 -> 0.8.1 -> 0.9.0，并且线上shark所依赖的hive版本也停留在0.9.0上，在这些版本上有我们自己的bug fix patch和feature enhancement。但是Hive的版本升级很快，新版本中修复了大量bug，新增了很多功能，非常令人兴奋，其中包括对未来hadoop升级为YARN的支持。所以我们准备将hive版本升级为0.11
2013-09-16 14:02:13
4262
2
原创 YARN & HDFS2 安装和配置Kerberos
今天尝试在开发集群上配置Kerberos，遇到一些问题，记录一下设置hadoop securitycore-site.xml hadoop.security.authentication kerberos hadoop.security.authorizatio
2013-09-11 16:28:49
13261
10
原创 Hive中查看数据来源文件和具体位置方法
通常用户在HIVE中用SELECT语句出来结果，无法确定结果是来自哪个文件或者具体位置信息，HIVE中考虑到了这点，在Virtual Column虚列中可以指定三个静态列:1. INPUT__FILE__NAME map任务读入File的全路径2. BLOCK__OFFSET__INSIDE__FILE 如果是RCFile或者是SequenceFile
2013-09-09 09:51:40
9841
2
原创 linux kill进程和子进程小trick
我们的hive web是调用polestar restful service(https://github.com/lalaguozhe/polestar-1)来执行具体的hive或者shark语句的，这几天有用户说hive web上的kill按钮失效了，虽然已经显示停止了查询，但是其实提交到jobtracker的mapred job或者spark worker节点上作业还在running。我看了下，确实有这个问题。polestar对于每一条query执行的语句如下
2013-09-05 15:39:15
10616
1
原创 Hadoop 2.x(YARN)安装配置LZO
今天尝试在Hadoop 2.x(YARN)上安装和配置LZO，遇到了很多坑，在这边记录整个安装配置过程1. 安装LZO下载lzo 2.06版本，编译64位版本，同步到集群中wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gzexport CFLAGS=-m64./configure -en
2013-09-02 15:17:27
6815
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人