sqoop-1.99.7详细安装文档

最新推荐文章于 2022-06-16 14:18:01 发布

卢子墨

最新推荐文章于 2022-06-16 14:18:01 发布

阅读量329

点赞数

分类专栏： Sqoop 文章标签： sqoop

原文链接：https://blog.csdn.net/wdr2003/article/details/80964590

版权

Sqoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1.解压安装sqoop

这里写图片描述
从官网下载好安装包，发送到集群中任意一台主机即可。相信大家已经看到，1.99.7跟1.4.6是不兼容的，而且官网也不建议使用这个版本在生产环境中使用。可是，为了学习，搞吧！

一如既往，我还是发送到 master 节点上，在 /usr/hadoop 目录下进行安装。
解压之后，我们将它改个名字，比如：
这里写图片描述

2.配置sqoop

2.1修改sqoop.properties

然后我们进入到 sqoop-1.99.7 下的 conf 目录里，修改 sqoop.properties：
这里写图片描述

这里我建议大家好好看看这段话：
这里写图片描述
它会提示你，这个配置文件里需要修改的有哪些地方。

先是 LOGDIR，配置文件中是相对路径，如果我们不配置的话，我们在哪里启动 sqoop2-shell(客户端) 就会在哪里生成一个”@LOGDIR@“的目录用来日志，就算这个我们不配置，BASEDIR 的目录也要配置。为了以后方便管理我们还是都把这个设置成绝对路径的好。
这个时候我们就可以使用全局替换的命令来完成这个操作：

# 设置日志文件的目录
:0,%s/@LOGDIR@/\/usr\/hadoop\/sqoop-1.99.7\/logs/g
# 设置数据的存放目录
:0,%s/@BASEDIR@/\/usr\/hadoop\/sqoop-1.99.7\/bin\/BASEDIR/g

这里写图片描述

可以看到这里需要使用到”\“来转义，这里我把存放日志的 logs 放到了 sqoop 的安装目录下。我们可以通过相同的命令来替换 BASEDIR （强烈建议将这个路径修改成绝对路径，不然总会有一天你会发现你之前创建的 link、job 都没有了，到时候再想找可就不是那么容易了！！！）

到这里我们还需要再修改一处地方：
这里写图片描述

这里要将原来的修改成为我们现有集群的 hadoop 的配置文件的目录。

2.2配置环境变量

接下来就是需要配置环境变量，在官网里的是这样写的：
这里写图片描述

大概意思就是说，sqoop 需要依赖于 hadoop 几大组件，其实我们需要设置的可以用一个 ”$HADOOP_HOME“涵盖完了。这个我们之前已经配置过了，所以这一项可以忽略掉。当然，还是要配置上 sqoop 的目录，方便命令的使用。
这里写图片描述
最后别忘了使 /etc/profile 生效。

2.3修改 core-site.xml

这里写图片描述

我们需要在 hadoop 的配置文件 core-site.xml 中加上这些内容：
这里写图片描述

这里我画了一下 ”hdfs://master:9000“，大家先记住这个地方，等会儿创建 link 的时候会用到。

2.4添加 mysql 的驱动

将 mysql 的驱动放到 sqoop 的安装目录下的 server 下的 lib 目录下：
这里写图片描述

当然，这里我们也可以参照官网上的方法：
这里写图片描述
我为了省事儿就直接放到 server/lib 目录下了，这样可以省去配置第三方 jar 库，不过，有点精神洁癖的或者不习惯我这样操作的可以仿照官网的操作。

2.5初始化并验证

我们进入到 sqoop 安装目录下的 bin 目录中：
这里写图片描述

使用 sqoop2-tool 来完成初始化和验证：
这里写图片描述
分别执行这个命令，当看到：

Verification was Successful.
Tool class ..... has finished correctly.

就表示，我们配置成功了。

#但是执行sqoop2-verify时可能会报个错，解决方法

要将
/home/hadoop/apps/sqoop-1.99.7/shell/lib 、
/home/hadoop/apps/sqoop-1.99.7/server/lib 、
/home/hadoop/apps/sqoop-1.99.7/tools/lib 

这三个目录下的guava-11.2.jar 
替换为
/home/hadoop/apps/hadoop-3.2.1/share/hadoop/common/lib/的

guava-27.0-jre.jar