Sqoop 1.4.7安装与配置

最新推荐文章于 2024-06-26 23:35:20 发布
最新推荐文章于 2024-06-26 23:35:20 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： Sqoop 文章标签： Sqoop Sqoop 安装 Sqoop 配置 Sqoop job Sqoop  hive hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mao502010435/article/details/89854927
版权
本文档详细介绍了Sqoop 1.4.7的安装过程，包括下载、解压、环境变量配置、MySQL驱动程序配置及验证安装。接着，讨论了使用Sqoop进行数据导入，特别是从MySQL到Hive和HBase的导入，以及遇到的问题和解决方案，如添加Hive的jar文件和引入java-json.jar。此外，还涵盖了Sqoop Job的创建、查看、启动、删除以及增量导入的参数设置。
摘要由CSDN通过智能技术生成

sqoop 安装

1下载

下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7

2.解压

tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /soft/

3.配置

 a)环境变量

export SQOOP_HOME=/soft/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

b)sqoop-env.sh

 #[sqoop/conf/sqoop-env.sh]
export HADOOP_COMMON_HOME=/soft/hadoop
export HADOOP_MAPRED_HOME=/soft/hadoop

3.配置mysql驱动程序

cp mysql-connector-xx.jar /soft/sqoop/lib

4,验证sqoop安装

sqoop version

5.查看sqoop所有帮助

sqoop help
sqoop help import

warning:

Warning: /soft/sqoop/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /soft/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
19/05/07 09:38:39 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7

原因：sqoop这里连接的是本地(linux系统)的mysql，但是我linux本地没有mysql，因此检测出错

解决办法：修改$SQOOP_HOME/bin/configure-sqoop注释掉HCatalog，Accumulo检查

#if [ -z "${HCAT_HOME}" ]; then
#  if [ -d "/usr/lib/hive-hcatalog" ]; then
#    HCAT_HOME=/usr/lib/hive-hcatalog
#  elif [ -d "/usr/lib/hcatalog" ]; then
#
最低0.47元/天 解锁文章
一只小菜鸟(*￣︶￣)
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop 1.4.7 安装和配置以及一些常用的导数据的模板
weixin_56265657的博客
06-29 263
一、Sqoop 一款开源工具，主要用于在Hadoop(Hive)与传统的数据库(mysql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 二、安装和配置 版本：sqoop 1.4.6 先解压，解压后的文件夹改名为sqoop146，配置环境变量并激活。 vim /etc/profile.d/myenv.sh ------------添加的内容------------
sqoop1.4.7安装配置
zphyy1988的博客
09-27 218
#解压缩 gunzip sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar mvsqoop-1.4.7.bin__hadoop-2.6.0sqoop-1.4.7.bin-hadoop-2.6.0 ## Installation Sqoop ships as one binary...
SQOOP安装及使用
最新发布
2403_83630621的博客
06-26 852
HDFS(分布式文件管理系统)--->RDBMS(关系型数据管理系统) export​要知道你要数据的来源和数据的目的地mysql:--connect--usernameroot--passwordxxxxxx--tableclazz30--m1​hdfs:'\t'​hive:1)bigdata30','2)','​# 增量需要添加的参数appendid3'\t'--check-column （hive的列名）last_mod--m1。
sqoop1.4.7安装
邢宁
01-25 1550
1、解压文件到指定目录 tar zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /data 2、修改配置文件 （1）进入/sqoop/conf目录 mv sqoop-env-template.sh sqoop-env.sh vim sqoop-env.sh export HADOOP_COMMON_HOME=/data/hadoop/hadoop-2.7.2 export HADOOP_MAPRED_HOME=/data/hadoop/hadoop-2.7.2 e
sqoop1.4.7安装和操作
zld_555的博客
12-20 406
前提概述 官网http://sqoop.apache.org/ 将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？ HDFS， MapReduce， YARN， ZooKeeper， Hive， HBase， MySQL sqoop1就是一个工具， 只需要在一个节点上进行安装即可。 如果sqoop要跟hive交互，那么sqoop节点机器一定要有hive系统。 版本sqoop1和sqoop...
sqoop1.4.7安装包及安装配置文档.rar
07-16
5. 依赖检查与安装：确保系统已经安装了Hadoop和Java环境，Sqoop需要它们才能运行。 6. 验证安装：运行`sqoop version`命令，如果显示版本信息，说明安装成功。 四、 配置步骤 1. 配置`sqoop-site.xml`：创建或编辑...
sqoop1.4.7
07-05
标题中的"sqoop1.4.7"指的是该版本的Sqoop，它是针对Hadoop 2.6.0版本优化的。下面我们将深入探讨Sqoop的功能、架构、工作原理以及如何使用 Sqoop-1.4.7.bin__hadoop-2.6.0 这个压缩包进行数据迁移。 **一、Sqoop的...
zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10
06-28
在构建大数据处理环境时，Hadoop集群是核心基础，而`zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10`这一组合则提供了集群中不可或缺的组件。让我们逐一探讨这些组件的功能、作用以及它们之间的协同工作。 **...
sqoop-1.4.7.zip
04-24
1. 将`sqoop-1.4.7.jar`复制到`$SQOOP_HOME/lib`目录下，其中`$SQOOP_HOME`是你的Sqoop安装目录。 2. 如果有其他依赖JAR，也应一并放入`lib`目录。 3. 更新环境变量`CLASSPATH`，包括`$SQOOP_HOME/lib`目录。 4. ...
sqoop-1.4.7部署
09-14
Sqoop 的配置文件位于 `/usr/local/soft/sqoop-1.4.7/conf` 目录下。需要将 `sqoop-env-template.sh` 文件重命名为 `sqoop-env.sh`： `cd /usr/local/soft/sqoop-1.4.7/conf/mv sqoop-env-template.sh sqoop-env.sh...
sqoop-1.4.7.jar
04-20
sqoop框架开发工具使用的jar sqoop-1.4.7.jar 手动安装到maven org.apache.sqoop sqoop 1.4.7
安装配置Sqoop-1.4.7
~~~的博客
06-07 426
安装配置Sqoop-1.4.7 1、下载并上传sqoop相关安装，并将其解包解压 2、配置环境变量(vi ~/.bash_profile),并使配置的环境变量生效（source ~/.bash_profile） 3、在sqoop的conf目录下，添加并修改配置文件 4、添加mysql驱动和相关Jar包 5、查看是否安装成功 如有想法，欢迎评论！ ...
【大数据开发运维解决方案】sqoop1.4.7的安装及使用(hadoop2.7环境)
热门推荐
赵延东的一亩三分地
03-18 17万+
一、sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 说明：本测试hadoop是单机伪分布式环境，如果读者想要学习如何搭建伪分布式...
Sqoop 1.4.7安装
青澜饮舟的博客
06-02 253
Sqoop 1.4.7安装 (1)将从官网下载的压缩包解压 (2)修改环境变量 (3)使环境变量生效 (4)修改配置文件(去掉注释) (5)执行configure-sqoop命令 (6)测试sqoop1是否配置正常 至此，Sqoop1.4.7安装完毕。 (7)测试连接MySQL数据库 测试完毕，接下来就是您操作的时间了!!! 相关jar包在小编资源处，下载名为sq...
三、SQOOP1.4.7安装
啊光的专栏
08-11 4443
前言 本次安装是基于hadoop与hive安装完成的基础之上做的，sqoop的安装相对比较简单，主要针对使用的一些问题做了处理，以及写了一个导入的使用方法 安装sqoop 第一步 下载sqoop https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0...
8. sqoop-1.4.7安装部署
QYmufeng的博客
07-26 779
sqoop-1.4.7安装部署
【sqoop】Linux环境下sqoop-1.4.7安装
debimeng
10-04 474
sqoop安装 前提条件：已安装好hadoop+hive+mysql(或其他数据库，这使用mysql) 一、安装 下载和解压 http://ftp.wayne.edu/apache/sqoop/ # tar -zxvf sqoop-1.4.7-bin-hadoop200.tar.gz -C /opt # mv /opt/sqoop-1.4.7-bin-hadoop200 /opt/sqoop...
Sqoop的安装与配置
12-23
以下是Sqoop的安装与配置步骤： 1. 确保已经安装和配置好Hadoop、Hive和MySQL。 2. 进入/opt目录，并解压Sqoop的安装包到/app目录下，并将解压好的安装包重命名为sqoop。执行以下命令： ```shell mkdir /app cd /opt tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /app cd /app mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop ``` 3. 配置Sqoop的环境变量。编辑~/.bashrc文件，并添加以下内容： ```shell export SQOOP_HOME=/app/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 保存并退出文件。 4. 使环境变量生效。执行以下命令： ```shell source ~/.bashrc ``` 5. 配置Sqoop的连接参数。进入Sqoop的conf目录，并复制模板文件sqoop-env-template.sh为sqoop-env.sh。执行以下命令： ```shell cd /app/sqoop/conf cp sqoop-env-template.sh sqoop-env.sh ``` 6. 编辑sqoop-env.sh文件，并设置以下参数： ```shell export HADOOP_COMMON_HOME=/path/to/hadoop export HADOOP_MAPRED_HOME=/path/to/hadoop export HIVE_HOME=/path/to/hive export ZOOKEEPER_HOME=/path/to/zookeeper ``` 将/path/to/hadoop、/path/to/hive和/path/to/zookeeper替换为实际的路径。 7. 配置Sqoop的数据库连接参数。进入Sqoop的conf目录，并复制模板文件sqoop-site-template.xml为sqoop-site.xml。执行以下命令： ```shell cd /app/sqoop/conf cp sqoop-site-template.xml sqoop-site.xml ``` 8. 编辑sqoop-site.xml文件，并设置以下参数： ```shell <property> <name>sqoop.metastore.client.enable.autoconnect</name> <value>true</value> </property> <property> <name>sqoop.metastore.client.autoconnect.url</name> <value>jdbc:mysql://localhost:3306/sqoop_metastore</value> </property> <property> <name>sqoop.metastore.client.autoconnect.username</name> <value>sqoop</value> </property> <property> <name>sqoop.metastore.client.autoconnect.password</name> <value>password</value> </property> ``` 将localhost、3306、sqoop_metastore、sqoop和password替换为实际的数据库连接信息。 9. 完成以上配置后，Sqoop就已经安装和配置好了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值