apache atlas mysql_apache atlas使用import-hive.sh导入hive历史元数据后没有lineage,并且报错...

是一个命令行工具?

使得结构化数据与Hadoop之间的导入导出变得容易

可以导入整个库或者单个表

可以与Oozie集成,将 导入导出作为工作流的一部分。

内部转化为MapReduce,用于传输数据

下载安装配置

根据Hadoop版本选择对应的Sqoop,我这里是Hadoop,选择Sqoop 1.99.6:

wget http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6-bin-hadoop200.tar.gztar zxvf sqoop-1.99.6-bin-hadoop200.tar.gz mv sqoop-1.99.6-bin-hadoop200 /home/sqoop-1.99.612345

配置PATH:

vim /etc/profileexport SQOOP_HOME=/home/sqoop-1.99.6export PATH=$PATH:$SQOOP_HOME/binsource /etc/profile12345

配置server/conf/catalina.properties

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/hadoop-2.6.0/share/hadoop/common/*.jar,/home/hadoop-2.6.0/share/hadoop/common/lib/*.jar,/home/hadoop-2.6.0/share/hadoop/hdfs/*.jar,/home/hadoop-2.6.0/share/hadoop/hdfs/lib/*.jar,/home/hadoop-2.6.0/share/hadoop/mapreduce/*.jar,/home/hadoop-2.6.0/share/hadoop/mapreduce/lib/*.jar,/home/hadoop-2.6.0/share/hadoop/yarn/*.jar,/home/hadoop-2.6.0/share/hadoop/yarn/lib/*.jar,/home/hadoop-2.6.0/share/hadoop/tools/*.jar,/home/hadoop-2.6.0/share/hadoop/tools/lib/*.jar,/home/hadoop-2.6.0/share/hadoop/httpfs/tomcat/lib/*.jar 1

配置server/conf/sqoop.properties:

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop-2.6.0/etc/hadoop1

验证是否配置正确:

sqoop2-tool veriify1

04a7bf903a91d13febf5e6e596e7ce30.png

启动sqoop server:

% sqoop2-server start1

e070e395e3ba841e7b1d8389dbc82029.png

启动的的tomcat运行在12000端口。

启动客户端shell:

sqoop2-shell1

e29ad820c06d2e3e2244ba13b09db428.png

Sqoop实例

启动Hadoop集群:

start-dfs.shstart-yarn.sh123

启动sqoop2-shell:

sqoop2-shell1

查看版本和connector:

show version -allshow connector12

8f9a04a42efe9900fb4fb8aac6ff6685.png

创建JDBC link:

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值