Sqoop 1.4.7安装与配置

最新推荐文章于 2025-03-21 21:03:27 发布

一只小菜鸟(*￣︶￣)

最新推荐文章于 2025-03-21 21:03:27 发布

阅读量1.7k

点赞数

分类专栏： Sqoop 文章标签： Sqoop Sqoop 安装 Sqoop 配置 Sqoop job Sqoop hive hbase

本文链接：https://blog.csdn.net/mao502010435/article/details/89854927

版权

本文档详细介绍了Sqoop 1.4.7的安装过程，包括下载、解压、环境变量配置、MySQL驱动程序配置及验证安装。接着，讨论了使用Sqoop进行数据导入，特别是从MySQL到Hive和HBase的导入，以及遇到的问题和解决方案，如添加Hive的jar文件和引入java-json.jar。此外，还涵盖了Sqoop Job的创建、查看、启动、删除以及增量导入的参数设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop 安装

1下载

下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7

2.解压

tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /soft/

3.配置

a)环境变量

export SQOOP_HOME=/soft/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

b)sqoop-env.sh

 #[sqoop/conf/sqoop-env.sh]
export HADOOP_COMMON_HOME=/soft/hadoop
export HADOOP_MAPRED_HOME=/soft/hadoop

3.配置mysql驱动程序

cp mysql-connector-xx.jar /soft/sqoop/lib

4,验证sqoop安装

sqoop version

5.查看sqoop所有帮助

sqoop help
sqoop help import

warning:

Warning: /soft/sqoop/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /soft/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
19/05/07 09:38:39 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7

原因：sqoop这里连接的是本地(linux系统)的mysql，但是我linux本地没有mysql，因此检测出错

解决办法：修改$SQOOP_HOME/bin/configure-sqoop注释掉HCatalog，Accumulo检查

#if [ -z "${HCAT_HOME}" ]; then
#  if [ -d "/usr/lib/hive-hcatalog" ]; then
#    HCAT_HOME=/usr/lib/hive-hcatalog
#  elif [ -d "/usr/lib/hcatalog" ]; then
#

最低0.47元/天解锁文章