使用Sqoop将SQL Server视图中数据导入Hive

最新推荐文章于 2021-09-09 17:19:21 发布
置顶 最新推荐文章于 2021-09-09 17:19:21 发布
阅读量2k 收藏 4
点赞数 3
分类专栏： 大数据动物园 Hive 大数据前沿技术 文章标签： Sqoop Hive SQL Server
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dr_Guo/article/details/102823338
版权
本文介绍了如何通过Sqoop将SQL Server的视图数据全量导入到HDFS和Hive中，详细步骤包括：下载sqljdbc4.jar，测试SQL Server连接，使用--query选项而非--table因视图非表，以及在导入Hive时使用--hive-overwrite覆盖原数据。
摘要由CSDN通过智能技术生成 
环境版本： ·HDP-2.5.3  ·Hive 1.2.1  ·Sqoop 1.4.6  ·SQL Server 2012

文章目录

1.下载sqljdbc4.jar放在$SQOOP_HOME/lib下

2.测试SQL Server连接

2.1 List available databases on a server

[root@hqc-test-hdp1 ~]# sqoop list-databases --connect jdbc:sqlserver://10.35.xx.xx -username xx -password xx
Warning: /usr/hdp/2.5.3.0-37/accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
19/10/29 16:13:24 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6.2.5.3.0-37
19/10/29 16:13:24 WARN tool.BaseSqoopTool: Setting your password on the command-line is in
了解本专栏 订阅专栏 解锁全文 超级会员免费看
光于前裕于后
关注
专栏目录
订阅专栏
sqoop导出sqlServer的数据到hdfs上增量脚本
子小的博客
02-28 365
#!/bin/bash db_date=$2 echo $db_date db_name=interaction_business.db import_data() { sqoop import \ --driver com.microsoft.sqlserver.jdbc.SQLServerDriver \ --connect "jdbc:sqlserver://10.4.0.17...
sqoop同步数据实践
Nieson2012的专栏
04-25 2231
本章主要介绍了Sqoop在数据同步场景下的应用实践，主要涉及到讲解Sqoop同步数据方面的多种实现方式和功能。Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
sqoop数据导出导入命令
u013494310的专栏
04-30 1558
1，修改/etc/profile文件 export PATH=/usr/local/mysql/bin:$PATH export PATH=/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/sqoop/bin:$PATH 2，使用sqoop： 将mysql-connector-java-5.1.16-bin.jar文件复制到$SQOO
SQOOP从Oracle导入数据到Hive时hang up在MapReduce作业过程
fz1989的专栏
10-21 1372
打算从Oracle一个模式中导入数据到Hive，打算导入的数据都存在视图里。 其他几个视图的导入过程都很顺利，有一个小坑是如果没有设置split-by column选项，只能用一个mapper(--num-mappers 1)。 基本语句为 sqoop import --hive-import --connect jdbc:oracle:thin:@//192.168.1.1:1521/or
sqoop测试数据
06-01
mysql数据库商品表、品牌和品牌分类表数据，该数据完全是个人自己创建的数据。
sqoop export推送案例
fly_skydfdf的博客
01-10 636
#!/bin/bash #ora数据库参数 url=jdbc:oracle:thin:@17.16.1.1:1521:orcl uid=ods pwd=xxxxxx table_name=S02_ASSET_PACKAGE_T1 #Hive_hdfs hdfs_url=/apps/hive/warehouse/ods.db/s02_asset_package_t1_...
sqoop连接SQL server的驱动包
06-13
利用sqoop导出sql server的数据时所需的驱动包，只需要将该包放到hive或sqoop的lib目录下即可。
sqoop import 导入到hive后数据量变多的问题
IKnowNothinglee的博客
11-06 3128
使用sqoop import 命令从postgresql导入数据到hive中，发现数据行数变多了，但是任务没有跑错，非常奇怪。 导入语句为： sqoop import --connect jdbc:postgresql://*.*.*.*:5432/database_name --username name111 --password password111 --table table11...
从Navicat导出oracle建表语句，应用sqoop将oracle中的表数据导入到hive
old_six_laobadaola的博客
06-14 5801
                            ORACLE库的操作首先选择navicat作为这个文件的工具，作为数据库的导入和导出工具。  导出的时候 会连结构和数据都导出来，会形成一个sql文件  也可以只倒视图或者表都可以的。但是以导出的这个文件导入的时候 会有这样的问题。就是在导入的时候,在视图导入的时候  会有问题,就是很多视图会有依赖关系  这样就需要在导入库的时候 先创建有依...
pyspark 数据写入hive_PySpark存储Hive数据的两种方式
weixin_39690401的博客
02-09 1430
背景：Hive的CREATE TABLE AS 和PySpark的.write.saveAsTable存储之后产生的数据类型并不一样，前者存储的方式是Text形式的，后者的存储形式是parquet形式。示例原始数据的类型hiveContext.sql("SHOW CREATE TABLE testdb.tttest").show(n=1000, truncate=False)+----------...
sqoop抽取例子
zh_s_z的博客
08-29 657
##mysql建表 create table dict_dir( id varchar(10) comment '主键', name varchar(20) comment '名称', class varchar(25) comment '分类' )comment '字典表' insert into dict_dir values ('1_1','苹果','fruits'), ('1_2','香...
sqoop-使用文档
扛着锄头的码农
08-12 1560
该项目已退役。详情请参阅其 阁楼页面。 文档主页 Sqoop 用户指南 (v1.4.7) Sqoop 用户指南 (v1.4.7) 目录 一、简介 2. 支持的版本 3. Sqoop 发布 4. 先决条件 5. 基本用法 6. Sqoop 工具 6.1. 使用命令别名 6.2. 控制 Hadoop 安装 6.3. 使用通用参数和特定参数 6.4. 使用选项文件传递参数 6.5. 使用工具 7. sqoop-import 7.1. 目的 7.2. 句法 7.2.1. 连接到数据库服务器 7.2.2. 选择要导入
mysql用shell脚本链接数据库进行操作
weixin_33895475的博客
11-15 502
使用 mysql -e 参数可以执行各种 sql 的各种操作语句。不用在mysql的提示符下运行mysql，即可以在shell中操作mysql的方法。 　　格式：mysql -hhostname -Pport -uusername -ppassword -e “” 　　 #!/bin/bash　　 HOSTNAME="192.168.70.161" #数...
Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
シ風
09-09 713
1.环境说明 # JDK # MySQL # Hadoop # Sqoop
sqoop增量从sqlserver导入到hive表中
hyy_blue的博客
08-28 1266
1、走过的弯路 网上很多的博客介绍的是增量从某个数据库导入hive，其实就是使用类似于这种的sqoop语句， sqoop import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect "jdbc:sqlserver://IP地址:1433;database=TS_Test" --username sa --password Test6530 --table data --target-dir '/user/hive/wareho
Sqoop 抽数据---优化
yqgwk的博客
03-04 3391
sqoop作为一个跨平台抽取和输出数据的工具，在关系型数据库（oralce,mysql等）和大数据平台之间常用。而目前的项目使用的hadoop平台，上游数据库是Oracle。 作为ETL的一环，加载作业的性能也是需要关注和优化的。如果使用Sqoop命令，则可以从以下几点进行优化： 1.允许并行抽数： -m n:这个参数代表的是允许n个MapRe...
Sqoop导入数据库数据到Hive的两种方式
u011250186的博客
08-21 2792
通过Sqoop将关系型数据库数据到Hive有两种方式，一种是Sqoop API，一种是使用HCatalog API。两种方式略有不同，各有优缺点，这里主要介绍两者的区别与共同点。 Sqoop方式 Sqoop方式基本的命令如下： sqoop import \ --hive-import \ --connect 'jdbc:mysql://localhost:3306/test' \ --username 'root' \ --password '123456789' \ --query " select.
HIVE异常处理（三）关于字段和hive中的预留字段冲突的问题
sheep8521的博客
04-10 4031
1、如果你的hive建表的时候的字段会和hive的关键字重复的话，那么执行hql的时候会报错。 创建表出现如下错误（表字段或表名与hive内部的关键字冲突了（e.g：order，date……）等， FAILED: ParseException line 6:0 Failed to recognize predicate ‘date’. Failed rule: ‘identifier’ in co...
怎么使用sqoop将mysql数据导入Hive中
最新发布
05-17
您可以按照以下步骤使用Sqoop将MySQL数据...4. 等待Sqoop将数据从MySQL表中导入到Hive表中。导入完成后，您可以使用Hive命令查询Hive表中的数据。 ``` SELECT * FROM employee; ``` 这将返回Hive表中的所有数据。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

光于前裕于后

您的打赏将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值