使用python导出hive数据文件

使用python导出hive表的数据文件到本地
1、创建要导出数据的临时表。
2、使用如下脚本来导出数据文件,并制定分隔符。

#-*-coding:utf-8 -*-
# created by lisardon at 20190813 for export more than 20000 rows data.
# exec: python Create_sql.py -d dim -t dim_car_prosale_info -f dim_car_prosale_info_xxoo -w "dt = '2019-01-01'"
# -d 提取数据的库名 -t 提取数据的表名 -w 取数的where条件 最后会在当前目录下生成与表名一样的目录,文件会在目录下
# 生成与表名一样的目录名,'|' 为分隔符
import re
import os
import sys
import datetime
import subprocess
from optparse import OptionParser
parser = OptionParser()
sys.path.append(os.getenv('HiveTask'))
from HiveTask import HiveTask
reload(sys)
sys.setdefaultencoding('utf8')
ht = HiveTask()

class Create_sql:
    def __init__(self,dp,tb,fp,wh):
        self.tar_tb = dp + '.' + tb
        self.shell_cmd = """
        hive -S -e "desc """ + self.tar_tb +""";" |grep -v '^OK' |grep -v '^Time.*Fetched'
        """
        self.dp = dp
        self.tb = tb
        self.fp = fp
        self.wh = wh

    def make_file(self
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值