Hive
张包峰
Distributed Computing
展开
-
Hive on CDH4部署、调错及测试
hadoop是cdh4.2.0的版本,搭建见十分钟搭建自己的hadoop2/CDH4集群 hive版本可以是cdh4.2.0的hive-0.10.0,下载包(win直接下载解压会失败,建议linux下wget下载)。也可以是hive-0.9.0(shark-0.7包里自带的amp实验室提供的版本)。两个版本我都尝试了,都是可以的,使用后者这个版本比较低的hive的原因是为了使用shark。 metastore则是一个mysql,只有你有mysql server,随便create 一个 空的database即原创 2013-09-29 14:28:35 · 3057 阅读 · 1 评论 -
Spark SQL CLI 实现分析
本文主要介绍了Spark SQL里目前的CLI实现,代码之后肯定会有不少变动,所以我关注的是比较核心的逻辑。主要是对比了Hive CLI的实现方式,比较Spark SQL在哪块地方做了修改,哪些地方与Hive CLI是保持一致的。 基本上Spark SQL在CLI这块的实现很靠近Hive Service项目里的CLI模块,主要类继承体系、执行逻辑差不多都一样。Spark SQL修改的关键逻辑在CLIService内的SessionManager内的OperationManager里,将非元数据查询操作的q原创 2014-08-04 22:40:05 · 6304 阅读 · 0 评论