linux环境下快速搭建单机版本hive

1 无法修改表结构,新版本的hive加上该参数set hive.metastore.disallow.incompatible.col.type.changes = false2 分桶表纪要clustered by (f1) sorted by (f1) into 10 buckets;会根据f1计算出id,写入对应的分桶中;根据sorted by对桶对的数据进行排序hash_function(bucketing_column) mod num_buckets2.x之前需要指定set h
摘要由CSDN通过智能技术生成

背景

生产环境中,hive通常运行在hadoop集群之上,并且需要外部元数据存储db,造成学习和测试成本较高。为了快速学习和验证hql,最好能够搭建一套单机版本hive。

步骤

步骤1

下载hive,解压

步骤2

在.bash_profile文件中,配置环境变量
export HIVE_HOME=xxx
PATH=$HIVE_HOME/bin:$PATH

xxx是变量,指向安装目录,该配置可以将hive纳入系统命名中

步骤3

配置hive-site.xml文件

javax.jdo.option.ConnectionURL=jdbc:derby:;databaseName=/home/dyx/data/hive-metastore;create=true

该配置让hive使用内嵌的derby数据库

hive.metastore.warehouse.dir=file://xxx

xxx是元数据存储的路径,例如 /home/dyx/hive-meta-data

步骤4

初始化元数据库

./schematool -initSchema -dbType derby

步骤5

命令行内输入 hive,进行测试,注意观察配置文件夹内的数据变化情况

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值