Sqoop导入数据到Hive

最新推荐文章于 2024-02-04 12:25:32 发布

MatrixSparse

最新推荐文章于 2024-02-04 12:25:32 发布

阅读量1.2k

点赞数

分类专栏： hadoop生态组件文章标签： sqoop

本文链接：https://blog.csdn.net/qq_25371579/article/details/50984489

版权

本文档详细介绍了如何使用Sqoop将MySQL中的数据导入到Hive。首先确保MySQL允许远程连接，然后在Linux节点上解压Sqoop并配置选项文件，上传数据库驱动，执行导入操作。接着在Hive中检查数据是否成功导入，并通过编辑选项文件添加执行条件以进行多次导入验证。

摘要由CSDN通过智能技术生成

Sqoop导入数据到Hive上

flume收集日志：主动的和被动的

看文档

sqoop底层是MR，要运行sqoop要有yarn环境，做大数据平台和关系型数据库导入导出工具，必须要有连接数据库的驱动

1、node1节点上已经安装了mysql，并允许远程连接：

[root@node1 ~]# service mysql start

[root@node1 ~]# service mysql status

2、将数据导入到HDFS中去

2.1、解压sqoop压缩文件到Linux主机上的指定目录

[root@node1 software]# tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/modules
[root@node1 software]# cd /opt/modules
[root@node1 modules]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6

2.2、在window上的Mysql客户端远程连接node1

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MatrixSparse

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Sqoop导入数据库数据到Hive的两种方式

gxd520的专栏

08-30

5212

通过Sqoop将关系型数据库数据到Hive有两种方式，一种是Sqoop API，一种是使用HCatalog API。两种方式略有不同，各有优缺点，这里主要介绍两者的区别与共同点。 Sqoop方式 Sqoop方式基本的命令如下： sqoop import \ --hive-import \ --connect 'jdbc:mysql://localhost:3306/test' \ --userna...

sqoop导入数据至hive

空中的鱼

07-13

1521

使用sqoop导入数据至hive常用语句直接导入hive表 sqoop import --connect jdbc:postgresql://ip/db_name--username user_name --table table_name --hive-import -m 5 内部执行实际分三部，1.将数据导入hdfs（可在hdfs上找到相应目录），2.创建hi

参与评论您还未登录，请先登录后发表或查看评论

Sqoop导Oracle数据到Hive

12-21

Sqoop导Oracle数据到Hive,代码清晰一目了然

sqoop导入数据进入hive

轻言少语的博客

07-21

272

sqoop导入数据进入hive中，明明显示导入成功了，可是在hive中就是找不到导入的表。我的版本号：hive-1.2.1 sqoop-1.4.7 我的解决方法：将 hive/conf/hive-site.xml 复制到 sqoop/conf/ 下； [root@hadoop01 ~]# cp /usr/local/hive1.2.1/conf/hive-site.xml /usr/local/sqoop1.4.7/conf/ 之后就可以在hive中查到表了。 [root@hado.

SQOOP导入数据至Hive

hetry_liang的博客

06-25

3761

1、数据源表同步到hive中 sqoop import \ --connect 'jdbc:postgresql://172.21.232.128:1921/coupon?useUnicode=true&characterEncoding=utf8' \ --username coupondw \ --password 'dw!123456' \ --table t_prime_offer_info_0 \ --hive-import \ --hive-database tmp \ --hive-t

sqoop导入数据到hive中，数据不一致

05-04

4. 分区问题：如果Hive表是分区表，而Sqoop导入时未正确处理分区，可能会导致数据分布不均或者丢失部分数据。确保在导入时指定了正确的分区字段和值。 5. 编码问题：数据源的字符编码与Hive或Hadoop集群的默认编码...

解决：Sqoop导入数据到Hive连接hiveserver2卡住

我的博客

07-27

2935

问题执行sqoop job要将mysql中数据导入hive表，执行到连接hiveserver2时就卡住不动单独执行连接hiveserver2可以正常连接 Import options: sqoop import --connect jdbc:mysql://xxx:3306/test --username xxxxx --password xxxxxx --table t_user --fields-terminated-by '\001' --hive-import --hive-data

sqoop 导入数据到hive分区表（外表，内表）指定分区指定数据库指定表

weixin_41734687的博客

11-18

8633

sqoop 导入数据到hive 1.1.导入数据到hive分区表（内表），指定分区创建hive分区表 –hive-database 指定数据库 –table 指定表 –hive-overwrite 覆盖已有表中的数据从mysql导入数据到hive，导入的hive的默认数据库 bin/sqoop import --connect jdbc:mysql://180.150.188.119:3...

sqoop导入数据到hive

05-25

下面是一个 Sqoop 导入数据到 Hive 的示例命令： ``` sqoop import --connect jdbc:mysql://localhost/mydatabase --username myuser --password mypassword --table mytable --hive-import --hive-table myhive -m...

用sqoop导入数据到hive中

yangbaba2000的专栏

02-27

5028

1 安装sqoop 下载sqoop-1.2.0.tar.gz（1.20版兼容hadoop0.20版本）将 hadoop-core-0.20.2-cdh3u3.jar ，hadoop-tools-0.20.2-cdh3u3.jar 放入sqoop/lib目录下，这两个jar包是cloudera公司出的，可以去它的官网下载。 2 从mysql中导入数据进入s

bdp2hive:生成hive分区表、sqoop导入数据至hive

04-28

bdp2hive项目介绍一、概述项目主要是集成生成sqoop脚本和创建hive分区表组件。生成sqoop脚本组件主要通过传递的数据库信息查询数据库获取表字段与数据集之间的对照关系SQL语句，通过模板拼接成sqoop脚本，上传服务器执行；hive分区表生成组件主要是通过获取数据集及数据集item的code，数据集code作为hive表名，数据集item code作为hive分区表字段，同时加入相关字段，形成hive表的基本结构。项目结构 ─src ├─main │ ├─java │ │ └─com │ │ └─cecdata │ │ └─bdp2hive │ │ ├─common │ │ │ ├─mapper │ │

Sqoop 导入数据到hive过程解析

huonan_123的博客

11-02

7148

1. mysql数据库(sqoop)emp表导入到hive中数据库(ruozedata_teset)的emp_sqoop_test表执行下面代码 sqoop import \ --connect jdbc:mysql://192.168.52.130:3306/sqoop \ --username root \ --password 123456 \ -m 1 \ --table emp \...

sqoop导入数据到hive动态分区表

weixin_43025027的博客

08-07

858

sqoop导入数据到hive动态分区表

使用sqoop将mysql数据导入到hive中

最新发布

qq_61594973的博客

02-04

2289

这个命令是，将mysql中kk数据库中的表student导入到hive的db_msg数据库的student表（该表可不存在，会自动创建）正常情况下，可以显示所有数据库。

sqoop（一）数据库数据导入hive

weixin_42934205的博客

05-12

1144

sqoop（一）数据库数据导入hive 将达梦数据库数据导入到hive 将达梦数据库的驱动放到sqoop安装路径下的lib路径下（其他数据库同样操作） sqoop命令是： sqoop import --driver dm.jdbc.driver.DmDriver --connect \ jdbc:dm://192.168.xx.xx:xxxx/METACENTER \ --username XXXXX \ --password xxxxx \ --query "select * from

sqoop 导入增量数据到hive

u011250186的博客

06-07

2002

版本 hive：apache-hive-2.1.0 sqoop：sqoop-1.4.6 hadoop：hadoop-2.7.3 导入方式 1.append方式 2.lastmodified方式，必须要加--append（追加）或者--merge-key（合并，一般填主键）创建mysql表并添加数据 -- ---------------------------- -- Table structure for `data` -- ------------------------...

sqoop（4）—— Mysql数据导入Hive

天青色等烟雨而我在等你

03-22

378

sqoop（4）—— Mysql数据导入Hive官方文档http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_importing_data_into_hive_2示例集群和版本规划hadoop-2.6.5sqoop-1.4.7.bin__hadoop-2.6.0zookeeper-3.4.10apache-hive-1.2.2-bin fa...

sqoop 导入 hive

mn_kw的博客

05-27

4412

sqoop 导入 Hive 分三步： 1. 先导入--target-dir 指定的 HDFS 的目录中 2. 在 Hive 中建表 3. 调用 Hive 的 LOAD DATA INPATH 把 --target-dir中的数据移动到 Hive 中 import --hive-import --hive-table dw_hd.ods_store --connect jdbc:oracle:th...