mac安装sqoop

最新推荐文章于 2021-06-26 11:56:42 发布
最新推荐文章于 2021-06-26 11:56:42 发布
阅读量677 收藏
点赞数 1
文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/erlihan/article/details/104184196
版权
本文介绍了在mac环境下，如何在已有的hadoop 3.2.1和hive 3.1.2基础上安装并配置sqoop。过程中遇到brew安装失败的问题，选择直接下载并解决可能的版本冲突。通过配置环境变量、添加hadoop和hive路径、引入mysql jar包以及解决运行时的依赖问题，最终成功完成sqoop的配置并能连接到mysql。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在hadoop 3.2.1和hive 3.1.2的基础上，配置sqoop。
下载
brew install sqoop #这个下载遇到了错误
到http://www-eu.apache.org/dist/sqoop/1.4.7/ 链接下载
在这里插入图片描述
这个hadoop-2.6.0不知道与我本地安装的hadoop3.2.1有咩有啥冲突哇。
上面的连接太慢了，可以用这个：http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

配置变量
在这里插入图片描述
验证

sqoop version

在这里插入图片描述
添加hadoop和hive的路径信息
进入/usr/local/Cellar/sqoop-1.4.7.bin__hadoop-2.6.0/conf下面：

cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh 增加如下所示

最低0.47元/天 解锁文章
mac环境 安装和使用sqoop
maxmao1024的博客
03-08 1635
1. 安装和配置 brew install sqoop sqoop version cd /usr/local/Cellar/sqoop/1.4.6/libexec/conf cp sqoop-env-template.sh sqoop-env.sh vim sqoop-env.sh export HADOOP_HOME="/usr/local/Cellar/hadoop/3.0...
Sqoop的安装与配置 第1关：Sqoop的安装与配置
qq_61604164的博客
12-02 1008
Sqoop的安装与配置 第1关：Sqoop的安装与配置
Mac安装Sqoop
01-07
一：简介 Sqoop是一款用于Hadoop(Hive)与关系型数据库(mysql等)间进行数据的传递的ETL工具。 二：安装sqoop 1. 安装sqoop brew install sqoop 2. 配置环境变量 Hadoop, Hive, HBase and ZooKeeper must be installed and configured for Sqoop to work. vi ~/.bash_profile export ZOOKEEPER_HOME=/usr/local/Cellar/zookeeper/3.4.14 export HADOOP_HOME=/usr/loc
mac安装sqoop及简单语法
weixin_42357472的博客
04-07 474
安装： brew install sqoop cd /usr/local/Cellar/sqoop/1.4.7/libexec/conf cp sqoop-env-template.sh sqoop-env.sh vim sqoop-env.sh export HADOOP_HOME="/usr/local/Cellar/hadoop/3.2.1_1/libexec" export HBAS...
Sqoop安装
lizc_lizc的博客
09-18 234
下载文件 wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 解压到/opt/目录下 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/ 设置Sqoop环境变量  vim /etc/profile ...
Mac上安装与配置Sqoop教程
"本文主要介绍了如何在Mac操作系统上安装并配置Sqoop，一个用于在Hadoop（包括Hive）和关系型数据库（如MySQL）之间进行数据交换的ETL工具。" Sqoop是一个非常有用的工具，它使得在分布式计算框架Hadoop与传统的...
sqoop 安装
风涛
10-17 1828
下载地址 http://mirror.bit.edu.cn/apache/sqoop/ 因为官方并不建议在生产环境中使用sqoop2，即1.99.7，所以这里我用的是sqoop1,即1.4.7 找个编译好的，懒得去自己编译。 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 重命名，我都爱留着版本号。sqoop-1.4.7 配置环境变量；根据自己的系统看看...
mac os 下安装hadoop-2.7.3+hive-2.1.1＋sqoop-1.99.3
weixin_34384557的博客
04-07 185
hadoop 安装 安装jdk vim ~/.bash_profile export JAVA_HOME="YOUR_JAVA_HOME" export PATH=$PATH:$JAVA_HOME/bin 配置完成后，运行 java -version -------------- java version "1.8.0_121" Java(TM) SE...
【SQOOP】mac 安装sqoop2
Zsigner的博客
03-07 280
1、官网地址：http://sqoop.apache.org/ 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/ 解压： tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /usr/local 2、配置环境变量，我这边修改的是 vim ~/.bash_profile ...
mac安装Hadoop3.2.1教程（超详细）
01-07
由于课程需要和工具限制，需要在mac上安装Hadoop，参考了网上的教程，总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程。这里默认mac的terminal已经安装了homebrew软件管理工具、JDK环境，如果没安装homebrew、JDK环境的小伙伴请自行搜索mac终端安装homebrew、JDK教程。下面是安装Hadoop的具体流程，分三步： 一、设置ssh免密码登录      因为Hadoop是分布式平台，需要多个机器之间协作，设置ssh免密码登录可以减少每次登陆主机输入密码的繁琐流程。      1）在mac的系统偏好设置–>共享中打开远程
【大数据开发】MAC安装和使用sqoop
后端研发工程师Marion的博客
06-26 333
一、参考文档 Mac安装Sqoop
sqoop安装
Ran
11-22 2252
sqoop安装
安装sqoop
ant的博客
10-09 1411
安装： https://www.jianshu.com/p/d42a164d6f68 https://www.jianshu.com/p/33d5405e1309 sqoop-env.sh两个博客的内容我都加进去了 两个驱动包我也都加进去了   错误： http://www.aboutyun.com/thread-17715-1-1.html?euvmji=6dm0p Warnin...
sqoop的安装
05-08 1232
sqoop介绍： Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
记录一次在Mac中Sqoop安装和配置
鲜橙多的博客
05-14 334
1.将下载好的tar包解压到指定位置 2.配置环境变量 vi ~/.bash_profile 添加如下两行 （自定义路径） 使用 sqoop version 进行验证 3.配置sqoop的conf 添加hadoop和hive的路径 打开sqoop安装目录下的conf cp sqoop-env-template.sh sqoop-env.sh vi sqoop-env.sh 添加如下路径 3）将mysql的驱动包放到sqoop下的lib目录下(这个命令是根据自己路径设定进行复制，使用者根据自己设
Sqoop的安装和一些语句
大数据
11-04 257
1.sqoop是一个用于在hadoop和关系型数据库之间传输数据的工具，用于从关系数据库(mysql、oracle)导入数据到HDFS。 2.当大数据存储和hadoop生态系统的MapReduce、hive、HBASE、Pig分析器出现时，它们就需要一种工具来与 关系型数据库服务器进行交互，以导入和导出驻留在其中的大数据。 sqoop在是使用的时候会和哪些系统打交道？ HDFS、MapReduc...
Sqoop简介与安装
Da.的博客
06-26 251
Sqoop 简介 Apache Sqoop(TM)是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop 于 2012 年 3 月孵化出来，现在是一个顶级的 Apache 项目。 最新的稳定版本是 1.4.6。 Sqoop2 的最新版本是 1.99.7。请注意， 1.99.7 与 1.4.6 不兼容，且没有特征不完整，它并不打算用...
Sqoop简介及安装
淡淡的倔强的博客
06-26 1453
一、Sqoop简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 二、Sqoop原理 将导入或导出命令翻译成mapreduce程序来实现。 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 三、Sqoop安装 安装Sqoop的前提是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值