CDH6之Sqoop添加数据库驱动

原创 于 2022-06-06 16:41:42 发布
· 1.1k 阅读 · 2 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #sqoop #sap

文章目录

场景

  • CDH6.3.2装好后，默认有Sqoop，而且环境变量都配好了

  • 因为当初装CDH时把mysql-connector-java.jar放到/usr/share/java/，所以Sqoop默认就能连上MySQL

  • 数据中台不只对接MySQL，还有其它数据源，不一定能直连，需要配置对应的数据库连接器

添加数据库驱动

cd /opt/cloudera/parcels/CDH/lib/sqoop/lib

把数据库连接器放到这，下面以SAP / HANA为例
1、下载驱动，我是借助DBeaver来下载的
2、找到驱动，并上传

  • 因为Sqoop支持直连
最低0.47元/天 解锁文章
Sqoop【快速使用篇】：Sqoop安装部署以及快速使用【从MySQL导入HDFS、从HDFS导出MySQL】
weixin_40612128的博客
03-10 3962
Sqoop【快速使用篇】：Sqoop安装部署以及快速使用【从MySQL导入HDFS、从HDFS导出MySQL】
sqoop jdbc驱动包
08-26
sqoop 导入数据时候报错ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: oracle.jdbc.OracleDriver 缺少驱动包。
sqoop1.99.6 mysql_CDH中Sqoop的使用心得
weixin_33508642的博客
02-22 320
Sqoop服务添加https://www.cndba.cn/lirui/article/3383 Sqoop版本选择CDH自带两个版本sqoop组件这里选择1.4.6版本也就是sqoop1，1.99.5版本是sqoop2，是半成品，不支持关系型DB到Hive跟Hbase，故不推荐使用Sqoop导入mySql数据到Hive操作1、测试MySQL连接sqoop list-databases --con...
cdh 安装_快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境
weixin_39900045的博客
11-21 248
CDH简单了解CDH: C：cloudera(公司) D：distribute H：Hadoop解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题，不用自己编译, CDH适合商用，版本更新比较慢，也可以选择其他版本。CDH版本的安装 在线：不推荐，受网速影响 离线：rpm包，tar包之前已经安装使用过Apache版本的Hadoop，这次为了区分，我们再单独见一个cdh目录，用于...
CDH 安装 sqoop
frone的专栏
10-27 3749
CDH 安装 sqoop
sqoop-cdh安装包
03-07
sqoop-cdh安装过程及异常处理，并提供安装使用的工具包
CDH配置sqoop
jm88621的博客
01-21 1145
添加sqoop服务 打开cluster 添加服务 选择sqoop2，然后一路继续即可 4. 安装完成后查看服务 配置mysql驱动 下载mysql驱动到cdh的jars路径下 mysql驱动下载地址 root@cdh1:/opt/cloudera/parcels/CDH/jars# ll mysql-connector-java-5.1.49-bin.jar -rw-r--r-- 1 root root 1006906 1月 21 09:17 mysql-connector-java-
sqoop-1.4.6-cdh5.14.2.tar系列安装包
08-03
Sqoop 是 Apache Hadoop 生态系统中的一个工具，主要用于在关系型数据库（如 MySQL、Oracle 等）和 Hadoop 分布式文件系统（HDFS）之间高效地传输数据。这个压缩包“sqoop-1.4.6-cdh5.14.2.tar”是 Sqoop 的一个特定...
sqoop-1.4.6-cdh5.12.0.tar.gz
12-02
6. 安全性：在 CDH 5.12.0 版本中，Sqoop 支持 Kerberos 认证，提供了与 CDH 安全模型的集成，确保了数据传输的安全性。 7. 兼容性：Sqoop 不仅与 Hadoop 兼容，还与其他大数据组件（如 Oozie、Hue）无缝集成，可以...
sqoop找不到MySQL驱动_Sqoop jdbc 连接 MySQL 驱动包com.mysql.cj.jdbc.Driver 问题解决方法...
weixin_30999669的博客
01-18 1453
Sqloop 通过jdbc 连接Mysql数据库，提示驱动过期，如下：https://www.cndba.cn/cndba/dave/article/3302https://www.cndba.cn/cndba/dave/article/3302https://www.cndba.cn/cndba/dave/article/3302https://www.cndba.cn/cndba/dave/a...
Sqoop学习之路 （一）
weixin_34301307的博客
04-15 949
一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HD...
sqoop连接SQL server的驱动包
06-13
利用sqoop导出sql server的数据时所需的驱动包，只需要将该包放到hive或sqoop的lib目录下即可。
cdh集群安装sqoop
奋斗的小鸟专栏
03-07 3627
sqoop-cdh安装：1、上传sqoop-1.4.6-cdh5.10.1.tar.gz包到/opt/sqoop目录2、解压缩文件： tar -zxf sqoop-1.4.6-cdh5.10.1.tar.gz3、设置环境变量：vim /etc/profile#添加一下内容export JAVA_HOME=/usr/java/jdk1.7.0_79export CLASSPATH=.:$JAVA_H...
cdh6上安装sqoop1
zhengqianjin的博客
08-25 2088
参照官方问文档：https://docs.cloudera.com/documentation/enterprise/latest/topics/cm_mc_sqoop1_client.html#concept_xtn_35m_n2b 1、添加 Sqoop 1 Client 2、安装jdbc驱动 下载mysql JDBC驱动，放到目录/var/lib/sqoop/中 3、设置sqoop1 环境变量 vim /etc/profile export HADOOP_MAPRED_HOME=/opt/cl
sqoop 1.4.6-cdh5.7.0安装
weixin_34199405的博客
10-30 225
2019独角兽企业重金招聘Python工程师标准>>> ...
cdh mysql sqoop 驱动_CDH的坑之Sqoop导出数据到MySQL
weixin_39600704的博客
12-20 459
CDH的坑之Sqoop导出数据到MySQL最近使用Sqoop从Hive导出数据到MySQL中，出现了一系列的问题，下面将这个问题记录一下，避免再度踩坑！导出语句sqoop export --connect jdbc:mysql://192.168.1.78:3306/data \--username root \-P \--export-dir '/user/hive/warehouse/pers...
cdh sqoop 配置_SQOOP安装配置
weixin_39717825的博客
12-21 121
SQOOP是一款开源的工具，主要用于在HADOOP与传统的数据库间进行数据的传递，下面从SQOOP用户手册上摘录一段描述SqoopisatooldesignedtotransferdatabetweenHadoopandrelationaldatabases.YoucanuseSqooptoimportdatafromarelationaldatabasem...
Sqoop集成Teradata驱动
weixin_34128534的博客
11-02 827
2019独角兽企业重金招聘Python工程师标准>>> ...
cloudera cdh sqoop2 加入myqsl 驱动包
KNIFE_PAN的专栏
04-10 2771
下载mysql驱动包 http://dev.mysql.com/downloads/file.php?id=454397 .解压提取 mysql-connector-java-5.1.31-bin.jar 把提取的驱动JAR放到你的sqoop-server启动的节点的下面制定的目录下 /var/lib/sqoop2/ 重启sqoop2 具体操作参见 http://sqoop.apache.org/d
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值