hadoop集群sqoop2安装指南

原创 2016年08月29日 11:22:38

环境说明

操作系统:Ubuntu 14.04

集群节点:

  • Master
  • slave1
  • slave2

解压并安装

hadoop@Master:~$ sudo tar xvfz sqoop-1.99.6-bin-hadoop200.tar.gz 
hadoop@Master:~$ sudo mv sqoop-1.99.6-bin-hadoop200 /usr/local/sqoop
hadoop@Master:~$ sudo chmod -R 775 /usr/local/sqoop
hadoop@Master:~$ sudo chown -R hadoop:hadoop /usr/local/sqoop

修改环境变量

hadoop@Master:~$ sudo nano /etc/profile

#sqoop
export SQOOP_HOME=/usr/local/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
export CATALINA_BASE=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs

hadoop@Master:~$ source /etc/profile

修改sqoop的环境变量

hadoop@Master:/$ sudo nano /usr/local/sqoop/server/conf/sqoop.properties 

#修改指向我的hadoop安装目录  
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/etc/hadoop  

hadoop@Master:/$ sudo nano /usr/local/sqoop/server/conf/catalina.properties 

common.loader=/usr/local/hadoop/share/hadoop/common/*.jar,/usr/local/hadoop/share/hadoop/common/lib/*.jar,/usr/local/hadoop/share/hadoop/hdfs/*.jar,/usr/local/hadoop/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop/share/hadoop/mapreduce/*.jar,/usr/local/hadoop/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop/share/hadoop/tools/*.jar,/usr/local/hadoop/share/hadoop/tools/lib/*.jar,/usr/local/hadoop/share/hadoop/yarn/*.jar,/usr/local/hadoop/share/hadoop/yarn/lib/*.jar,/usr/local/hadoop/share/hadoop/httpfs/tomcat/lib/*.jar,

下载mysql驱动包,mysql-connector-java-5.1.27.jar

把jar包丢到到$SQOOP_HOME/server/lib下面

$ sudo cp mysql-connector-java-5.1.27.jar $SQOOP_HOME/server/lib

有时,启动sqoop时可能会遇到找不到JAVA_HOME的情况,为了保险起见我们直接在配置文件中写入JAVA_HOME

#在/usr/local/sqoop/server/bin/setenv.sh中,添加
export JAVA_HOME=/usr/lib/jvm/

启动sqoop

hadoop@Master:~/mysql-connector-java-5.0.8$ sqoop.sh server start
Sqoop home directory: /usr/local/sqoop
Setting SQOOP_HTTP_PORT:     12000
Setting SQOOP_ADMIN_PORT:     12001
Using   CATALINA_OPTS:       
Adding to CATALINA_OPTS:    -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001
Using CATALINA_BASE:   /usr/local/sqoop/server
Using CATALINA_HOME:   /usr/local/sqoop/server
Using CATALINA_TMPDIR: /usr/local/sqoop/server/temp
Using JRE_HOME:        /usr/lib/jvm//jre
Using CLASSPATH:       /usr/local/sqoop/server/bin/bootstrap.jar

验证启动成功

如果服务端已经启动,则有Bootstrap这个进程:

hadoop@Master:~$ jps
...
13771 Bootstrap
...

sqoop2安装详细过程[截图说明]

安装的准备工作 下载sqoop 解压安装包 创建相关目录 配置sqoop环境变量并使环境变量生效 修改sqoop配置文件 启动sqoop安装的准备工作Sqoop是一款开源的工具,主要用于在Hadoop...
  • qy20115549
  • qy20115549
  • 2017年01月02日 18:55
  • 2846

Sqoop2的安装与使用

Installation Sqoop ships as one binary package however it’s compound from two separate parts - clie...
  • u014729236
  • u014729236
  • 2015年07月14日 13:27
  • 8749

Sqoop2 (1.99.7)安装部署及问题解决

Sqoop 是一个开源工具,主要用于在Hadoop和传统的数据库(Mysql, Oracle,等)进行数据传递,可以将一个关系型数据库中的数据导入Hadoop 的HDFS中,也可以将HDFS中的数据导...
  • wqhlmark64
  • wqhlmark64
  • 2017年06月14日 14:06
  • 602

Sqoop2安装配置

Sqoop2是同步关系型数据库数据、Hdfs系统数据的工具。 下载Sqoop2的安装包sqoop-1.99.7-bin-hadoop200.tar.gz 下载地址http://mirrors.hu...
  • lishiming0308
  • lishiming0308
  • 2017年03月28日 15:43
  • 830

Sqoop-1.99.7安装配置(详细图文)

环境:centos 6.5,hadoop2.6.4集群
  • M_SIGNALs
  • M_SIGNALs
  • 2016年11月16日 18:03
  • 2929

Sqoop1.99.7安装、配置和使用(一)

本文描述sqoop1.99.7安装、配置过程,并叙述了笔者在这过程中遇到的一些注意事项,一些坑,作总结。...
  • u012842205
  • u012842205
  • 2016年08月28日 12:54
  • 10405

Sqoop2安装记录

我是采用的源码编译的包安装的, 主要是考虑到会对部分功能做裁剪或增强, 具体源码编译方式可以参考另外一篇博文《编译Sqoop2错误解决》。然后从dist/target目录下拷贝sqoop-1.99.3...
  • huanggang028
  • huanggang028
  • 2014年10月14日 10:55
  • 3279

sqoop2安装

1. 解压 $tar -zxvf sqoop-1.99.6-bin-hadoop200.tar.gz $cd sqoop-1.99.6-bin-hadoop200 $pwd /home/clohad...
  • clerk0324
  • clerk0324
  • 2017年01月05日 16:46
  • 434

Sqoop-1.4.6安装部署及详细使用介绍

之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用,综合比较后选择Sqoop1。 Sqoop1安装配置比较简单 一、安装部署 (1)、下载地址:http://archive.cl...
  • dwld_3090271
  • dwld_3090271
  • 2016年02月26日 10:26
  • 17757

hadoop集群安装以及Hive、sqoop的使用

一 Hadoop的安装1. 软件清单 Linux系统使用CentOS6.4-x64,Ubuntu较之CentOS个人感觉内存消耗更大,操作有时会卡顿。故改为使用CentOS。 jdk-7u79-lin...
  • zhangxu5274
  • zhangxu5274
  • 2016年03月27日 09:23
  • 1226
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop集群sqoop2安装指南
举报原因:
原因补充:

(最多只允许输入30个字)