使用Sqoop将HDFS中数据导入MYSQL中

使用Sqoop将HDFS中数据导入MYSQL中

Sqoop是Apache项目，是Hadoop生态系统的扩展出来的。在某些方面Sqoop类似于distcp工具。两者都建立在MapReduce的基础之上，并且利用并行和容错。然而，Sqoop与Distcp的主要区别是：Sqoop主要被设计用来使得关系型数据库和HDFS之间进行数据的导入与导出（通过JDBC）。

它的功能广泛。这一节将讲述使用Sqoop将weblog数据从HDFS导出到MySql中。

准备工作

安装Sqoop。

安装MySQL，并确保他与Hadoop集群之间的联通性。

将MySQL JDBC driver JAR包拷贝到 $SQOOP_HOME/libs目录下。

操作步骤

1、如果数据库不存在，创建数据库

CREATE DATABASE logs;

2、创建数据表

USE logs;
CREATE TABLE weblogs_from_hdfs (
md5 VARCHAR(32),
url VARCHAR(64),
request_date DATE,
request_time TIME,
ip VARCHAR(15)
);

3、将数据从HDFS导出到MySQl数据库中

sqoop export -m 1 --connect jdbc:mysql://192.168.11.131:3306/logs --username root --password 308308 --table weblogs_from_hdfs --export-dir hdfs://192.168.11.131:9000/data/weblogs/weblog_entries.txt  --input-fields-terminated-by '\t' 

补充

--table参数指定的是从HDFS中接收数据的表，因此这个表必须在运行Sqoop export之前创建。Sqoop使用数据表的元数据包括列和类型验证来自HDFS的数据，创建insert指令。