Centos7使用sqoop导mysql数据到hive,并kylin创建cube(流程及报错解决)

本文详细介绍了如何在CentOS7环境下使用Sqoop从MySQL导入数据到Hive,并在Kylin中创建Cube。过程中遇到了启动Kylin时的报错,通过修改配置和添加依赖库解决了问题。此外,还提供了Hive的常用命令和HDFS操作,以及Kylin的基本使用步骤和数据模型理解。
摘要由CSDN通过智能技术生成

环境是全部配置好的,配置链接:https://blog.csdn.net/qq_38929220/article/details/95481002

  • 启动kylin时遇到报错:
    [root@hadoop ~]# /hadoop/kylin/bin/kylin.sh start
    Retrieving hadoop conf dir...
    KYLIN_HOME is set to /hadoop/kylin
    Retrieving hive dependency...
    Something wrong with Hive CLI or Beeline, please execute Hive CLI or Beeline CLI in terminal to find the root cause.

    修改 find-hive-dependency.sh,删掉hive_env=hive ${hive_conf_properties} -e set 2>&1 | grep 'env:CLASSPATH' ,加入下面几行后,kylin就能成功启动了。

hive -e set >/tmp/hive_env.txt 2>&1
hive_env=`grep 'env:CLASSPATH' /tmp/hive_env.txt`
hive_env=`echo ${hive_env#*env:CLASSPATH}`
hive_env="env:CLASSPATH"${hive_env}
  • cube创建时意外关闭kylin,重启jobhistoryserver
    Couldn't find hive executable jar. Please check if hive executable jar exists in HIVE_LIB folder.

  • 尝试启动hive发现:
    hive查询异常:Cannot create directory /tmp/hive-root/。。。Name node is in safe mode.
    关闭安全模式:
    hdfs dfsadmin -safemode leave
    之后kylin可以正常启动

sqoop执行语句

列出mysql中所有数据库

sqoop list-databases --connect jdbc:mysql://hostname:3306?useSSL=false --username fmmanager -P

列出数据库中的表

sqoop list-tables --connect jdbc: mysql://hostname:3306/database?useSSL=false database username fmmanager -P

导出数据库中的所有表:

sqoop import-all-tables “-Dorg.apache.sqoop.splitter.allow_text_splitter=true” --connect jdbc:mysql://hostname:3306/database?useSSL=false --username fmmanager -P

导出数据库所有表到hive,除了某个:

sqoop import-all-tables “-Do

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叶柖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值