Hadoop学习之Sqoop数据迁移

目录

一、sqoop概述

1.简介

2.原理

二、 sqoop安装配置 

1.下载

2.上传 

3.解压 

4.配置 

1）复制文件

2）添加该两行 

5.上传mysql驱动

6.执行命令 

7.sqoop指令介绍 

三、sqoop将Mysql表数据导入HDFS 

1.导入命令

2.执行命令 

3.出现错误 

4.在命令url处配置数据库对应 

5.出现错误 

6.库不对，azkaban库 

7.运行成功 

8.在HDFS上查看结果 

四、sqoop将Hive数据导出MySQL表中 

1.在本地mysql建立相同表结构

2.sqoop代码导出 

3.出现问题 

4.更改mysql配置 

 5.重新导出

6.成功查看结果 

---

一、sqoop概述

1.简介

Sqoop是Apache的一款开源工具，Sqoop主要用于在Hadoop和关系数据库或大型机之间传输数据，可以使用Sqoop工具将数据从关系数据库管理系统导入（import）到Hadoop分布式文件系统中，或者将Hadoop中的数据转换导出（export）到关系数据库管理系统。

2.原理

二、 sqoop安装配置 

1.下载

2.上传 

3.解压 

4.配置 

1）复制文件

2）添加该两行 

5.上传mysql驱动

6.执行命令 

7.sqoop指令介绍 

三、sqoop将Mysql表数据导入HDFS 

1.导入命令

2.执行命令 

3.出现错误 

4.在命令url处配置数据库对应 

5.出现错误 

6.库不对，azkaban库 

7.运行成功 

8.在HDFS上查看结果 

四、sqoop将Hive数据导出MySQL表中 

1.在本地mysql建立相同表结构

2.sqoop代码导出 

#导入mysql数据

#money

bin/sqoop export \

   --connect jdbc:mysql://hadoop004:3306/jobs?useUnicode=true\&characterEncoding=utf-8 \

   --username root \

   --password JJ12315kk. \

   --table money \

   --columns "source,number" \

   --fields-terminated-by '\001' \

   --export-dir /user/hive/warehouse/money \

   --m 1

 

3.出现问题 

4.更改mysql配置 

show variables like'character%';

set character_set_database=utf8;

set character_set_server=utf8;

 5.重新导出

6.成功查看结果