Sqoop安装

最新推荐文章于 2024-11-09 21:51:58 发布

weixin_30905133

最新推荐文章于 2024-11-09 21:51:58 发布

阅读量128

点赞数

文章标签：数据库大数据 ui

原文链接：http://www.cnblogs.com/java-cjt/p/5164015.html

版权

Sqoop 配置文档

安装环境ubuntu14.04 64位 hadoop2.6 jdk 1.7.0_79 sqoop-1.99.6-bin-hadoop200

Sqopp介绍：

Sqoop 学习笔记

1.sqoop 介绍

1）多数是用hadoop技术处理大数据业务的企业有大量的数据存储在rdbms中。

2）基于历史数据的数据分析，利用大数据的平台来进行处理。

3）因此需要将关系型数据库中的数据迁移到hadoop(hive和hbase)中，将hadoop分析出来的数据可能要在倒回到关系型数据库中。利用mapreduce加快数据传输速度。Etl 批处理方式进行数据传输。

4）Sqoop：sql-to-hadoop

5）选择的优势：高效的，可控的利用资源譬如任务的并行度，超时的时间。

数据类型映射与转换，可自动进行，也可以用户定义。

支持多种的数据库

6）版本sqoop1和sqoop2

a) 两个不同的版本，完全的不兼容

b) 版本号划分：apache：1.4.x~,1.99.x~ ;DCH:sqoop-1.4.3-cdh4,sqoop2-1.99.2-cdh4.5.0/

7)sqoop2比sqoop1的改进

a) 引入sqoopserver，集中化的管理connector（连接不同关系型数据库的连接器）等

b) 引入多种的访问方式：CLI(command line interface)，Wen UI (浏览器中的数据导入到出)，REST API（支持多语言的使用）

c) 引入级角色的安全机制

在上述的架构中：

1）基于命令行的：编程容易出错，譬如敲错命令，而且不安全

2）数据传输和数据格式是紧耦合的，这使得connector无法支持所有的数据格式。

3）按群密钥是暴露出来的，非常不安全传统数据库的用户名和密码

4）sqoop 安装需要root权限

5）Connector 必须符合jdbc模，并且使用通用的jdbc词汇比如URL，database table

配置：

首先在你需要安装的sqoop的节点上确认安装好hadoop，本文的版本是基于hadoop2兼容的sqoop1.99.6版本配置。

1.下载sqoop-1.99.6,这个版本最新，可以与hadoop2.x.x兼容的更好

2.现在以后解压到相应的目录

tar zxvf sqoop-1.99.6-bin-hadoop200.tar.gz

3.配置环境变量，sudo vi /etc/profile进入profile文件，如下图

（最好在安装sqoop之前，把Hbase和Hive安装上）

添加几行代码：

PATH=添加$SQOOP_HOME/bin（可以看下图）

export SQOOP_HOME

export CATALINE_BASE=$SQOOP_HOME/server

export LOGDIR=$SQOOP_HOME/logs

完成之后退出到命令行界面，使用 source /etc/profile 更些profile配置文

4.配置${SQOOP_HOME}/server/conf/catalina.properties 文件，如下图

找到 commen.loader=下图修改后的代码，注意，路径要换成你自己的安装路径哦

=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/common/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/common/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/hdfs/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/hdfs/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/mapreduce/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/mapreduce/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/tools/*.jar,/home/likai/hadoop-2.6.0/tools/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/yarn/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/yarn/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/httpfs/tomcat/lib/*.jar