利用sqoop从sqlserver导入数据到HDFS或Hive

本文介绍了如何使用sqoop工具将数据从SQL Server导入到HDFS或Hive。首先,需要安装Hadoop、JAVA和Hive,并配置相关环境变量。接着,下载并安装sqoop及SQL Server的JDBC驱动和connector。最后,通过指定连接参数和导入命令,如`--connect`, `--table`, `--target-dir`, `--split-by`等,将数据导入HDFS或直接导入Hive表。" 116075893,10638140,C++解决猴子吃偶数桃问题,"['c++编程', '算法问题', '编程挑战']
摘要由CSDN通过智能技术生成

SQL Server Connect for Hadoop

 sqoop是一个开源的工具,能将数据表从关系数据库导入HDFS或Hive上。在安装sqoop之前,需安装好Hadoop和JAVA以及Hive。

  •  sqoop的安装:

sqoop的版本: sqoop-1.3.0-cdh3u1 (sqoop-1.3.0-cdh3u1.tar.gz) http://archive.cloudera.com/cdh/3/

关于sqoop详细的介绍:

http://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u1/SqoopUserGuide.html

安装步骤:

(1)下载好版本,解压。

(2)需要在系统环境变量设置$HADOOP_HOME,指向其安装的根目录。

     sudo gedit  /etc/environment 添加;

(3)在系统环境变量设置$SQOOP_HOME以及$以及$SQOOP_CONF_DIR;

     SQOOP_HOME = 安装的根目录;

    SQOOP_CONF_DIR=$SQOOP_HOME/conf;

(4)下载jdbc的SqlServer驱动:

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值