Sqoop将SQLServer数据导入HBase

最新推荐文章于 2021-05-05 18:49:27 发布
最新推荐文章于 2021-05-05 18:49:27 发布
阅读量4.7k 收藏 1
点赞数
文章标签： sqoop sqlserver hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nma_123456/article/details/50524619
版权

首先在Cloudera Manager中添加Sqoop服务，然后进行如下操作：

jdbc的server驱动和SQLServer-hadoop connector包下载位置：http://download.csdn.net/detail/nma_123456/9405343

1、 Sqoop安装包中并不包含jdbc的SqlServer驱动，所以想在HDFS和SqlServer数据库之间导入导出数据，则需要先下载jdbc的SqlServer驱动。到http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=21599 上 下载jdbc驱动1033\sqljdbc_3.0.1301.101_enu.tar.gz，解压，把sqljdbc4.jar包拷贝到Sqoop安装 目录下的lib目录下

2、  但是这个只是jdbc中SqlServer的驱动，它并不支持HDFS与SqlServer数据库之间数据的传输，还需要下载 SQL Server-Hadoop Connector。下载地址为http://www.microsoft.com/download/en/details.aspx?id=27584 ， 解压得到sqoop-sqlserver-1.0目录，并在系统中添加环境变量MSSQL_CONNECT

最低0.47元/天 解锁文章
nma_123456
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sqoop实战：sqlserver导入hbase命令
sfrem的专栏
02-01 1009
sqoop-list-databases  --connect 'jdbc:sqlserver://192.168.1.107;username=sa;password=********;' sqoop-list-tables  --connect 'jdbc:sqlserver://192.168.1.107;username=sa;password=*******;database=****
Sqoop抽取Sqlserver数据到hbase
fengfengchen95的博客
07-31 1362
Sqoop抽取Sqlserver数据到hbase 语法： sqoop  import --connect "jdbc:sqlserver://10.96.183.70:1433;database=SPC" --username mes --password mes+123  \ --query \ "select \ random+fdatec+boardsn+idstation+imulti...
从SQLServer导入HBase的sqoop jar包
10-08
从SQLServer导入HBase的sqoop jar包
sqoop1，将sqlserver导入hbase
nannan1232的专栏
03-24 1009
sqoop1、hbase、sqlserver
sqlserver导入hbase和hive
XDSXHDYY的博客
07-29 309
1.采用sqoop将sqlserver数据导入hbase 要先在hbase中将表建好(create ‘TicketInPark’,‘cf’)，再导入否则会报错 sqoop import --connect "jdbc:sqlserver://10.9.10.213:1433;database=CenterThemePark" \ --username sa --password 123456 --...
sqoop import SqlServer to hive
hello_java_lcl的博客
07-02 281
sqoopimport语句： 按表中字段筛选 $SQOOP_HOME/bin/sqoop import \--connect 'jdbc:sqlserver://168.16.8.168:5419;database=database_name' \--username 'user' \--password '12345678' \--table dt_tablename \ --columns 'id,createtime,name,mobile' \--null-string '\\N' .
Sqoop-sqlserver-hdfs.rar
11-05
在导入过程中，Sqoop可以自动检测表结构，将列映射到HDFS文件的字段，并且可以选择不同的导入模式，如完全导入、增量导入或导出数据到Hive、HBase等其他Hadoop组件。通过这种方式，你可以方便地在SQL Server和Hadoop...
关系型数据库的数据导入Hbase
11-01
通过 Sqoop导出到Hbase，需要先将数据导入HDFS，再用Hbase的Import命令将数据加载到Hbase表中。 - Hadoop MapReduce：可以编写自定义的MapReduce作业，将RDBMS数据读取、转换并写入Hbase。这种方法灵活性高，但开发...
安装笔记：hadoop+hbase+sqoop2+phoenix+kerberos
01-12
【描述】：在本文中，我们将探讨如何在两台云主机（实际环境可能需要三台或更多）上安装Hadoop、HBase、Sqoop2、Phoenix以及Kerberos的详细过程，涵盖从伪分布式模式到Kerberos安全认证的完整步骤。 【标签】：...
sqoop-1.4.6-cdh5.14.0
08-04
2. 数据导出：同样，Sqoop 也允许用户将 HDFS 或 HBase 中的数据导回 RDBMS，实现数据同步和更新。 3. 数据转换：在导入或导出过程中，Sqoop 支持 SQL 查询，可以对数据进行预处理和转换，如过滤、聚合、分组等，使...
Sqoop将SQLServer数据表导入HDFS
01-15
sqoop将关系型数据库，导入到hadoop集群中，供大家参考，一起学习。
sqoop把mysql数据导入hbase-完整记录
微电子学与固体电子学-俞驰
05-25 2038
环境: sqoop1.4.7 mysql8.0 hbase2.2.4 hadoop3.1.2 ############################################################################## mysql> create database sqoop_hbase; mysql> use sqoop_hbase; mysql> CREATE TABLE book( -> id INT(4) PRIMAR...
sqoop(3):import之mysql/sqlserver/pgsql/Oracle To hive
小蚯蚓的博客
11-11 712
一、mysqlToHive 1.配置 （1）往/etc/profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/modules/hive-1.2.1/lib/* 然后刷新配置 source /etc/profile （2） 把hive-site复制到sqoop中！ cp ../hive-1.2.1/conf/hi...
HBase Filter使用方法（三）------批量put导入
weixin_34363171的博客
08-01 230
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据工具——HBASE数据库（一）
m0_45993982的博客
05-05 458
一、HBASE基础概念 1.HBASE概念 HBASE是一个数据库----可以提供数据的实时随机读写。HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库） 2.HBase特性 - HBase的表模型与关系型数据库的表模型不同： - HBase的表没有固定的字段定义； - HBase的表中每行存储的都是一些key-value对 - HBase的表中有列簇的划分，用户可以指定将哪些kv插入哪个列族 - HBase的表在物理存储上，是
Sqoop数据导入到HBase
AyubLIbra的博客
05-30 1690
Hbase具有幂等性，对于多次导入都可以一样数据。不会新增数据。 1、oracle全量导入Hbase sqoop import \ --connect jdbc:oracle:thin:@192.168.1.160:1521:test \ --username test \ --password-file /user/admin/sqoop/pwd/dev/test.pwd \ --table TEST.TEST_BASE \ --columns USER_ID,NAME,GROUP_NAME,
Sqoop安装及MySql数据导入HBase
06-14 142
Sqoop介绍 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如:MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。（本文档中使用的是sqoop-1.4.2-cdh4.2.1版本） 为什么要使用sqoop 因为业...
使用sqoop1导出mysql数据到hbase中
沉底的石头
07-18 3329
安装配置cdh5.03版sqoop2-1.99.3导入数据 1.下载sqoop2：http://www.cloudera.com/content/support/en/downloads/cdh/cdh-5-0-3.html 2.无法启动配置server/conf下catalina.properties文件，把所有hadoop的共享jar包配置到sqoop环境变量中，可以参考官方文档搞定。
Sqoop导入数据到hive、hbase
qq_43012693的博客
09-29 942
在上一篇博文中，已经介绍过了sqoop的一些用法，把数据从数据库导入到hdfs。本篇将介绍如何从数据库导入到hive和hbase中。 目录一级目录二级目录三级目录增量导入导入文件格式从数据库导入到HIVE直接导入到Hive导入到Hive的分区导出HDFS数据到MySQL 一级目录 二级目录 三级目录 增量导入 增量导入的意思就是在原先导入的数据的基础上，追加新的数据进去。 我们以下面的数据为例，分别是学生的id，姓名，生日和性别 01 赵雷 1990-01-01 男 02 钱电 1990-12-21 男
《yiee数据运营系统》附录：Sqoop与图计算知识点总结
它支持从MySQL、Oracle、SQL Server等数据库导入数据到HDFS、Hive、HBase等Hadoop生态中的数据存储系统，同时也可将数据从Hadoop导回关系数据库。Sqoop本质上是一个基于MapReduce的命令行工具，其迁移过程无需reduce...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值