sqoop连接sqlServer

最新推荐文章于 2022-04-12 15:40:07 发布
最新推荐文章于 2022-04-12 15:40:07 发布
阅读量2.7k 收藏
点赞数
分类专栏： 工作之行 文章标签： sqoop sqlserver 乱码 GBK hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jsjsjs1789/article/details/62046338
版权

背景：最近公司需要把sqlServer的数据导入到hive中方便数据组的同事进行分析。国内资料相对老套，很多资料针对于sqoop1.3及其以下的，所以记录以下，方便后来者。各位看官，开始喽！！！

软件：sqoop-1.4-cdh5.10 sqlServer2005

下面各位看官，跟着小二一起进行sqoop连接sqlServer的奇妙旅程。
总体来说就三点：

1.sqoop1.4不需要connector-hadoop插件

Thank you for your feedback. Sqoop 1.4 doesn’t require sql server
connector. We were providing sql server connectors since sql server
was not part of sqoop 1.3. We will be deprecating this connector soon.

2.sqlServer GBK编码导入hive中后不会乱码。通过sqoop源码可知，sqoop会自动进行编码格式的转换，转成utf-8。
2.1若sqlserver中为特殊编码，不排除转码失败的可能性

3.前提需要把相应驱动放入${SQOOP_HOME}/lib目录下

参考网址：
除官网外：

https://connect.microsoft.com/SQLServer/feedback/details/768839/microsoft-sql-server-connector-for-apache-hadoop

shengjk1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
sqoop 安装与简单使用
04-07
sqoop安装与简单使用
sqoop连接SQL server的驱动包
06-13
利用sqoop导出sql server的数据时所需的驱动包，只需要将该包放到hive或sqoop的lib目录下即可。
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题
鲁边的博客
05-10 1013
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题 1.安装,下载安装包解压即可 2.在系统环境变量中设置HADOOP_HOME，指向安装目录; 3. 3.在系统环境变量中设置SQOOP_HOME与SQOOP_CONF_DIR；SQOOP_HOME = sqoop安装的根目录;SQOOP_CONF_DIR=$SQOOP_HOME/conf; 4.首先配置jdbc的SqlSe...
Sqoop安装测试、连接Sqlserver使用
joklove的博客
05-29 1689
Sqoop安装测试、连接Sqlserver使用 Sqoop是一个开源的工具，它允许用户将数据从关系型数据库抽取到Hadoop中，用于进一步的处理。抽取出来的数据可以被Mapreduce程序使用。也可以被其他类似于Hive的工具使用。一旦形成分析结果，Sqoop便可以将这些结果导回数据库，以供其他客户端使用。 安装部署步骤 1、安装Sqoop的前提是已经具备Java和Hadoop的环境。在系统环境变量中设置HADOOP_HOME变量 2、下载地址：链接:http://mirrors.hust.edu.cn/
sqoop(3):import之mysql/sqlserver/pgsql/Oracle To hive
小蚯蚓的博客
11-11 685
一、mysqlToHive 1.配置 （1）往/etc/profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/modules/hive-1.2.1/lib/* 然后刷新配置 source /etc/profile （2） 把hive-site复制到sqoop中！ cp ../hive-1.2.1/conf/hi...
sqoop从sqlserver导入数据操作指令及hive创建表过程
鲁边的博客
05-10 6466
sqoop从sqlserver导入数据操作指令及hive创建表过程
Sqoop将SQLServer数据表导入HDFS
01-15
sqoop将关系型数据库，导入到hadoop集群中，供大家参考，一起学习。
sqoop连接SqlServer2012示例
dawujiong2967的博客
12-23 172
sqoop import --connect 'jdbc:sqlserver://192.168.xx.xx:1433;username=sa;password=xxxx;database=WindElec' --table sqlTest1 --target-dir '/sqoop/test1' -m 2 转载于:https://www.cnblo...
Sqoop导入SQL Server数据
zleven的博客
01-09 5579
在[《SQOOP数据导入》](http://blog.csdn.net/zleven/article/details/53781111)中介绍了如何从Oracle中导入数据到HDFS、Hive及HBase中。如果需要使用SQOOP从SQL Server中导入数据，则相对麻烦一点，我们需要做一些额外的工作。下面将介绍如何使用SQOOP从SQL Server中导入数据。
使用sqoop导入sql server数据库
qxf1374268的博客
03-28 6498
问题描述： 以前都只是使用sqoop导入mysql和oracle数据库的数据，今天突然来了一个sql server数据库，发现按照以前的写法不对，所以开始了我的百度之路。。。 首先，我按照这个大兄弟说的，去下载了sql server的驱动， 但是，在下载SQL Server Hadoop Connector的时候，我突然发现： 微软竟然不支持下载这个名字叫SQL ...
sqoop-sqlserver-1.0.tar.gz
04-07
sqlserver connector for apache hadoop
sqoop connect sqlserver driver
01-06
sqoop连接sqlserver的驱动工具，没有这个sqoop是连不上滴
Sqoop-sqlserver-hdfs.rar
11-05
其中包含Sqoop将SqlServer文件导入HDFS文件的所有jar包
sqoop sqlserver相关.zip
08-15
sqoop导出sql server的数据时所需的驱动包，只需要将该包放到hive或sqoop的lib目录下，包含了sqoop安装文件
python 和 java的区别( 不断更新中 )
热门推荐
shengjk1的博客
04-12 3万+
python 跟 java 一样时强类型语言，也就是说它不会根据环境变化自动改变数据类型 python 是动态语言，而 java 是静态语言。也就是说 python 在编程时，永远不用给任何变量指定数据类型，而 java 写程序时必须声明所有变量的数据类型 python 的模块类似于 java 的 class，不过python模块导入会执行 代码的内容，而 java 不会 python 与 java 的执行方式还是蛮像的，都是将源码编译成 byte code 然后交给相应的虚拟机去执行 Python为了.
kafka权限认证
shengjk1的博客
11-14 2万+
背景： 最近公司因为用的云服务器，需要保证kafka的安全性。可喜的是kafka0.9开始，已经支持权限控制了。网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制。 下面各位看官跟着小二一起开始kafak权限控制之旅吧！嘎嘎嘎！介绍： kafka权限控制整体可以分为三种类型： 1.基于SSL 2.基于Kerberos(本文不与讨论) 3.基于acl的 本文主要基于1
sqoop --split-by详解
shengjk1的博客
04-11 1万+
其实sqoop中相对来说最有意思的就是–split-by了，咱们来唠唠 假设有一张表test，sqoop命令中–split-by ‘id’，-m 10，会发生怎样奇特的事情。首先呢，sqoop会去查表的元数据等等，重点说一下sqoop是如何根据–split-by进行分区的。首先sqoop会向关系型数据库比如mysql发送一个命令:select max(id),min(id) from test
Flink 解决 No ExecutorFactory found to execute the application
shengjk1的博客
10-14 1万+
缺少 flink-client jar 引入即可 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients_2.11</artifactId> <version>${flink.version}</version> </dependency&
spring注解是如何实现的
shengjk1的博客
10-09 1万+
用过spring的人都知道，spring简单的通过注解就可以完成很多时间，但这些东西是如何实现的呢以及如何应用到我们自己的代码中？接下来，让我们一起开启注解的旅程。 首先申明本文的重点不是讲解spring的注解，也不讲解spring的源码，仅仅说明spring 注解能够起作用的原理 以建表语句为例： 定义注解类 @Target(ElementType.TYPE)//表示注解用在类、接口...
sqoop 连接oracle 数据库
最新发布
06-08
要使用Sqoop连接Oracle数据库，需要以下步骤： 1. 确保已经安装好了Sqoop和Oracle JDBC驱动程序。 2. 在Oracle数据库中创建一个用户和一个表。 3. 在Sqoop命令行中，使用以下命令导入数据： ``` sqoop import \ --connect jdbc:oracle:thin:@//hostname:port/servicename \ --username <username> \ --password <password> \ --table <table_name> \ --target-dir <target_directory> ``` 其中，`hostname`是Oracle数据库所在的主机名或IP地址，`port`是Oracle数据库的端口号，`servicename`是Oracle数据库的服务名称，`username`和`password`是Oracle数据库的用户名和密码，`table_name`是要导入的表名，`target_directory`是要将数据导入到的目标目录。 4. 等待Sqoop导入数据完成。 注意：在使用Sqoop连接Oracle数据库时，需要确保Oracle JDBC驱动程序的版本与Oracle数据库的版本兼容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shengjk1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值