sqoop常用功能的使用

最新推荐文章于 2023-03-14 13:06:31 发布

CrazyHacking望

最新推荐文章于 2023-03-14 13:06:31 发布

阅读量386

点赞数 1

分类专栏： hadoop 文章标签： sqoop hive mysql

本文链接：https://blog.csdn.net/huaziran/article/details/121809308

版权

这篇博客介绍了如何在Linux环境下使用Sqoop进行数据迁移，包括MySQL到HDFS、HDFS到MySQL、MySQL到Hive、Hive到MySQL的数据互导操作。详细阐述了每个步骤的命令执行和注意事项，如IP地址和目录的修改，以及解决可能出现的问题。

摘要由CSDN通过智能技术生成

前提条件：
安装好hadoop2.7.3（Linux系统下）

安装好sqoop（Linux系统下），参考：Sqoop安装配置

安装好MySQL(Windows系统下或者Linux系统下)

安装好Hive（Linux系统下）参考：Hive安装配置

安装好HBase（Linux系统下）参考：HBase1.3.1安装配置 HBase常用shell命令

题目：

一.MySQL与HDFS数据互导（相互导入导出）

二.MySQL与Hive数据互导

三.MySQL与HBase数据互导

实验步骤：

数据准备

进入mysql

mysql -uroot -p123456

在这里插入图片描述

创建一个名为ua1的数据库

create database ua1;

使用ua1数据库

 use ua1;

在这里插入图片描述

准备mysql数据：EMP表和DEPT表

-- 创建EMP表
CREATE TABLE IF NOT EXISTS `EMP`(
   `empno` INT,
   `ename` VARCHAR(10),
   `job` VARCHAR(9),
   `mgr` int,
   `hiredate` date,
   `sal` int,
   `comm` int,
   `deptno` int,
   PRIMARY KEY ( `empno` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- 插入数据到EMP表
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7369, 'SMITH', 'CLERK', 7902, '1980-12-17', 800, NULL, 20);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7499, 'ALLEN', 'SALESMAN', 7698, '1981-2-20', 1600, 300, 30);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7521, 'WARD', 'SALESMAN', 7698, '1981-2-22', 1250, 500, 30);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm&#