Sqoop将SQLServer数据导入Hive表中

最新推荐文章于 2024-07-03 13:19:29 发布
最新推荐文章于 2024-07-03 13:19:29 发布
阅读量3.4k 收藏 3
点赞数 2
分类专栏： 大数据 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38314823/article/details/84304935
版权

这里我使用的的CDH5.15.0对应的sqoop版本1.4.6

java使用的是jdk1.8

正常的安装配置完sqoop之后，并不能通过sqoop将SQLServer数据导入到Hive或HDFS中，还需要三个jar包。

java-json.jar（http://www.java2s.com/Code/JarDownload/java-json/）

sqljdbc42.jar（下载地址：https://www.microsoft.com/en-us/download/details.aspx?id=11774）

mysql-connector-java-5.1.31.jar（https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.13）

三个jar包拿到后放到${SQOOP}/lib下即可使用

对应的网址也可以找到其他版本，根据sqoop的版本进行对应和下载

一只行走在闹市的猪
关注
专栏目录
利用sqoop从sqlserver导入数据到HDFS或Hive
java43135的专栏
10-19 4965
SQL Server Connect for Hadoop  sqoop是一个开源的工具，能将数据表从关系数据库导入HDFS或Hive上。在安装sqoop之前，需安装好Hadoop和JAVA以及Hive。  sqoop的安装： sqoop的版本： sqoop-1.3.0-cdh3u1 (sqoop-1.3.0-cdh3u1.tar.gz) http://archive.cl
Sqoop将SQLServer数据表导入HDFS
01-15
sqoop将关系型数据库，导入到hadoop集群中，供大家参考，一起学习。
Hive、SQL Server、MySQL 和 PostgreSQL 之间的对比区别
最新发布
WHYbeHERE的博客
07-03 1224
Hive是一个大数据处理工具，运行在 Hadoop 上，适合批量处理和分析海量数据。SQL Server是一个关系数据库系统，提供事务处理和实时数据访问，适合中到大规模的企业级数据管理和分析。MySQL是一个开源关系数据库系统，广泛用于中小型应用程序和网站，提供高并发的实时数据处理能力。PostgreSQL是一个开源关系数据库系统，提供高可扩展性和复杂查询功能，适合 OLTP 和 OLAP 工作负载，支持丰富的数据类型和高级查询功能。
使用sqoop1，将sqlserver数据导入hive
nannan1232的专栏
03-24 2292
sqoop、hive、sqlserver
sqoop sqlserver to hive
墨冰
03-18 361
–全量导入hdfs sqoop import –connect ‘jdbc:sqlserver://al-node3:1433;database=test’ –username sa --password 123 –table student –target-dir “/test” –delete-target-dir –split-by id -m 5 –增量 导入hdfs sqo...
sqoop增量从sqlserver导入到hive表中
hyy_blue的博客
08-28 1265
1、走过的弯路 网上很多的博客介绍的是增量从某个数据库导入hive，其实就是使用类似于这种的sqoop语句， sqoop import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect "jdbc:sqlserver://IP地址:1433;database=TS_Test" --username sa --password Test6530 --table data --target-dir '/user/hive/wareho
使用sqoop把sqlservice的数据导入hive
MC_yang
06-19 528
sqoop需要的三个jar包 sqoop路径/opt/cloudera/parcels/CDH/lib/sqoop/lib sqoop import -m 1 --connect 'jdbc:sqlserver://192.168.1.**:1433;username=sa;password=123;database=test' -table Table_1 --hive-imp...
Sqoop数据导入到Hive表的最佳实践
晓晓的天空
01-22 1942
Sqoop是一个开源工具，用于在Hadoop生态系统中的数据存储（如HDFS）和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地将结构化数据从关系型数据库导入到Hadoop集群中，以供进一步的数据处理和分析。将数据从关系型数据库导入到Hive表是大数据分析中的关键步骤之一。本文提供了Sqoop数据导入到Hive表的最佳实践，包括详细的步骤、示例代码和最佳建议。希望这些示例代码和详细内容有助于大家更好地理解和实施数据导入操作。
Sqoop导入SQLServer业务数据
蝈蝈
11-17 1683
1 Sqoop 1.1 使用 import-all-tables将SqlServer的历史数据全量同步到HDFS /usr/bin/sqoop import-all-tables \ --connect "jdbc:sqlserver://sqlserver的ip:1433;database=数据库名称" \ --username '用户名' \ --password '面膜' \ --warehouse-dir "目录" \ --autoreset-to-one-mapper --m 1 \ --exc
oracle导入到hive中,sqoop操作之ORACLE导入到HIVE
weixin_39587010的博客
04-12 1228
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \--username SCOTT --password tiger \--table EMP \--hive-import --create-hive-table --hive-table emp -m 1;如果报类似的错:ERROR tool.I...
使用Sqoop将SQL Server视图中数据导入Hive
光于前裕于后的博客
10-30 2002
环境版本： ·HDP-2.5.3 ·Hive 1.2.1 ·Sqoop 1.4.6 ·SQL Server 2012 文章目录1.下载sqljdbc4.jar放在$SQOOP_HOME/lib下2.测试sql server连接2.1 List available databases on a server2.2 List available tables in a database2.3 ...
Sqoop-sqlserver-hdfs.rar
11-05
在导入过程中，Sqoop可以自动检测表结构，将列映射到HDFS文件的字段，并且可以选择不同的导入模式，如完全导入、增量导入或导出数据到Hive、HBase等其他Hadoop组件。通过这种方式，你可以方便地在SQL Server和Hadoop...
sqoop从sqlserver导入数据操作指令及hive创建表过程
鲁边的博客
05-10 6616
sqoop从sqlserver导入数据操作指令及hive创建表过程
sql server + sqoop 全库导入hive 手记
Kafka_yx的博客
10-14 415
sqoop-import-all-tables \ --connect "jdbc:sqlserver://10.100.11.45:1433;instanceName=dbo;DatabaseName=yxtest;integratedSecurity=false" \ --username sa \ --password abashifanSmart201905.../// \ --hi...
sqoop hive to sqlserver
qq_34897849的博客
10-21 343
不能使用--staging-table 参数 只有两种模式 更新 更新和插入 这个参数必须要加 -- --identity-insert --hive建表 create table if not exists test.student( id int, name string, score int, home string ) row format delimited f...
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题
鲁边的博客
05-10 1058
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题 1.安装,下载安装包解压即可 2.在系统环境变量中设置HADOOP_HOME，指向安装目录; 3. 3.在系统环境变量中设置SQOOP_HOME与SQOOP_CONF_DIR；SQOOP_HOME = sqoop安装的根目录;SQOOP_CONF_DIR=$SQOOP_HOME/conf; 4.首先配置jdbc的SqlSe...
sqlserver导入hbase和hive
XDSXHDYY的博客
07-29 324
1.采用sqoop将sqlserver数据导入hbase 要先在hbase中将表建好(create ‘TicketInPark’,‘cf’)，再导入否则会报错 sqoop import --connect "jdbc:sqlserver://10.9.10.213:1433;database=CenterThemePark" \ --username sa --password 123456 --...
增量采集数据到hive分区表中，进行ETL后用Sqoop同步到SqlServer
fa124607857的博客
06-09 998
最近在公司遇到一个数据处理需求： 1 客户方SqlServer的表每5分钟会采集到hive中，每5分钟作为一个分区 2 编写Hsql脚本读取分区表数据，进行数据转换，存到Hive的结果分区表中， 3 将结果数据同步到客户的sqlServer目标表中。 其中，没5分钟采集到hive中是另外小组的同事负责的，这里不进行详细说明。 2和3部分的编写脚本data.sh如下：该脚本写好后可以使用作业调度系统每五分钟执行一次。 #!/bin/bash #注意：作业调度的服务器系统时间要正确 建
sqoop 导入SQL server数据到Hive
vkingnew 的技术博客
05-27 1944
脚本： #!/bin/bash #Set the RDBMS topic name as bash's first params #Set the RDBMS table name as bash's second params echo "<----------------Import topic name is [$1]---------------->" echo "...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值