sqoop数据迁移学习笔记

 

---

一，sqoop概述

　　1，sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

　　导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统。

　　导出数据：从Hadoop的文件系统中导出数据到关系数据库

 

 

 

 二，工作机制

　　将导入或导出命令翻译成mapreduce程序来实现。

　　在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

 

三，sqoop环境安装

 

　　1，下载解压。

　　2，修改配置文件。在sqoop中的conf下mv sqoop-env-template.sh sqoop-env.sh

　　3,vi sqoop-env.sh 并编辑

　　export HADOOP_COMMON_HOME=/home/hadoop-2.6.1/

　　export HADOOP_MAPRED_HOME=/home/hadoop-2.6.1/

　　export HIVE_HOME=/home/hive-1.2.1

　　4，加入mysql的jdbc的驱动包

　　cp  /app/hive/lib/mysql-connector-java-5.1.28.jar   /sqoop/lib/

　　5，验证启动，在sqoop的bin目录下 运行  sqoop-version

　　预期输出

1 15/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
2 Sqoop 1.4.6 git commit id 5b34accaca7de251fc91161733f906af2eddbe83
3 Compiled by abe on Fri Aug 1 11:19:26 PDT 2015

 

　　

---

 

　　

　　

 

转载于:https://www.cnblogs.com/songweideboke/p/9827148.html