hadoop集群sqoop2安装指南

原创 2016年08月29日 11:22:38

环境说明

操作系统:Ubuntu 14.04

集群节点:

  • Master
  • slave1
  • slave2

解压并安装

hadoop@Master:~$ sudo tar xvfz sqoop-1.99.6-bin-hadoop200.tar.gz 
hadoop@Master:~$ sudo mv sqoop-1.99.6-bin-hadoop200 /usr/local/sqoop
hadoop@Master:~$ sudo chmod -R 775 /usr/local/sqoop
hadoop@Master:~$ sudo chown -R hadoop:hadoop /usr/local/sqoop

修改环境变量

hadoop@Master:~$ sudo nano /etc/profile

#sqoop
export SQOOP_HOME=/usr/local/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
export CATALINA_BASE=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs

hadoop@Master:~$ source /etc/profile

修改sqoop的环境变量

hadoop@Master:/$ sudo nano /usr/local/sqoop/server/conf/sqoop.properties 

#修改指向我的hadoop安装目录  
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/etc/hadoop  

hadoop@Master:/$ sudo nano /usr/local/sqoop/server/conf/catalina.properties 

common.loader=/usr/local/hadoop/share/hadoop/common/*.jar,/usr/local/hadoop/share/hadoop/common/lib/*.jar,/usr/local/hadoop/share/hadoop/hdfs/*.jar,/usr/local/hadoop/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop/share/hadoop/mapreduce/*.jar,/usr/local/hadoop/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop/share/hadoop/tools/*.jar,/usr/local/hadoop/share/hadoop/tools/lib/*.jar,/usr/local/hadoop/share/hadoop/yarn/*.jar,/usr/local/hadoop/share/hadoop/yarn/lib/*.jar,/usr/local/hadoop/share/hadoop/httpfs/tomcat/lib/*.jar,

下载mysql驱动包,mysql-connector-java-5.1.27.jar

把jar包丢到到$SQOOP_HOME/server/lib下面

$ sudo cp mysql-connector-java-5.1.27.jar $SQOOP_HOME/server/lib

有时,启动sqoop时可能会遇到找不到JAVA_HOME的情况,为了保险起见我们直接在配置文件中写入JAVA_HOME

#在/usr/local/sqoop/server/bin/setenv.sh中,添加
export JAVA_HOME=/usr/lib/jvm/

启动sqoop

hadoop@Master:~/mysql-connector-java-5.0.8$ sqoop.sh server start
Sqoop home directory: /usr/local/sqoop
Setting SQOOP_HTTP_PORT:     12000
Setting SQOOP_ADMIN_PORT:     12001
Using   CATALINA_OPTS:       
Adding to CATALINA_OPTS:    -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001
Using CATALINA_BASE:   /usr/local/sqoop/server
Using CATALINA_HOME:   /usr/local/sqoop/server
Using CATALINA_TMPDIR: /usr/local/sqoop/server/temp
Using JRE_HOME:        /usr/lib/jvm//jre
Using CLASSPATH:       /usr/local/sqoop/server/bin/bootstrap.jar

验证启动成功

如果服务端已经启动,则有Bootstrap这个进程:

hadoop@Master:~$ jps
...
13771 Bootstrap
...

相关文章推荐

Sqoop2的安装与使用

Installation Sqoop ships as one binary package however it’s compound from two separate parts - clie...

sqoop2安装详细过程[截图说明]

安装的准备工作 下载sqoop 解压安装包 创建相关目录 配置sqoop环境变量并使环境变量生效 修改sqoop配置文件 启动sqoop安装的准备工作Sqoop是一款开源的工具,主要用于在Hadoop...

Sqoop2安装配置

Sqoop2是同步关系型数据库数据、Hdfs系统数据的工具。 下载Sqoop2的安装包sqoop-1.99.7-bin-hadoop200.tar.gz 下载地址http://mirrors.hu...

Sqoop-1.99.7安装配置(详细图文)

环境:centos 6.5,hadoop2.6.4集群

Sqoop1.99.7安装、配置和使用(一)

本文描述sqoop1.99.7安装、配置过程,并叙述了笔者在这过程中遇到的一些注意事项,一些坑,作总结。...

sqoop1.4.6安装和使用

sqoop1.4.6安装 sqoop2不建议生产中使用,这里测试sqoop1. --下载sqoop-1.4.6 http://mirror.bit.edu.cn/apache/sqoop/1.4....

Linux安装Sqoop(CentOS7+Sqoop1.4.6+Hadoop2.8.0+Hive2.1.1)

sqoop安装\Linux安装Sqoop(CentOS7+Sqoop1.4.6) 版本号:CetOS7 Sqoop1.4.6 Hadoop2.8.0 Hive2.1.1...

关于sqoop2安装和运行中的问题

sqoop2配置:     添加sqoop2到系统环境变量中:      export SQOOP2_HOME=/opt/application/sqoop/sqoop-1.99.7/ ...

hadoop(2): 安装&使用 sqoop

1,关于sqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop...

重拾初心——Sqoop1和Sqoop2的刨析对比

Sqoop是一款开源的工具,主要用于在Hadoop和传统的数据库(MySQL、postgresql等)进行数据的传递,可以将一个关系型数据库(例如:MySQL、Oracle、Postgres等)中的数...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop集群sqoop2安装指南
举报原因:
原因补充:

(最多只允许输入30个字)