Sqoop【部署 01】CentOS Linux release 7

[root@tcloud ~]# hadoop version
Hadoop 3.1.3

4.安装配置

# 1.解压并移动到/usr/local/sqoop/下
tar -zxvf sqoop-1.4.7.bin-hadoop-2.6.0.tar.gz
# 这里注意一下 官网下载的安装包是【bin\_\_hadoop】我改成-了 所以解压之后是双下划线
mv sqoop-1.4.7.bin__hadoop-2.6.0/ /usr/local/sqoop/

# 2.配置环境变量:
vim /etc/profile.d/my_env.sh
	# 添加
	export SQOOP\_HOME=/usr/local/sqoop
	export PATH=$SQOOP\_HOME/bin:$PATH
	# 使得配置的环境变量立即生效:
		# 首先是要赋权限【只操作一次就行】
		chmod +x /etc/profile.d/my_env.sh
source /etc/profile.d/my_env.sh
# 验证一下
echo $SQOOP\_HOME # 显示/usr/local/sqoop表示成功

# 3.sqoop配置
# 复制${SQOOP\_HOME}/conf/sqoop-env-template.sh 并修改 sqoop-env.sh 配置文件
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
	# 配置中HADOOP\_COMMON\_HOME和HADOOP\_MAPRED\_HOME是必须配置的 其他的用到了再进行配置
	
	# Set Hadoop-specific environment variables here.
	#Set path to where bin/hadoop is available
	export HADOOP\_COMMON\_HOME=/usr/local/hadoop-3.1.3
	#Set path to where hadoop-\*-core.jar is available
	export HADOOP\_MAPRED\_HOME=/usr/local/hadoop-3.1.3
	
	#set the path to where bin/hbase is available
	#export HBASE\_HOME=
	
	#Set the path to where bin/hive is available
	#export HIVE\_HOME=
	
	#Set the path for where zookeper config dir is
	#export ZOOCFGDIR=

5.拷贝数据库驱动

将 MySQL 驱动包拷贝到 Sqoop1的安装目录的 ${SQOOP_HOME}/lib/ 目录下。百度网盘 mysql-connector-java-5.1.47.jar 分享:

链接:https://pan.baidu.com/s/1X15dNrH-B-U5oxw-H6sn8A 
提取码:ibaj

6.验证

由于已经将 sqoop 的 bin 目录配置到环境变量,直接使用以下命令验证是否配置成功:

[root@tcloud ~]# sqoop version
Warning: /usr/local/sqoop/../hbase does not exist! HBase imports will fail.
Please set $HBASE\_HOME to the root of your HBase installation.
Warning: /usr/local/sqoop/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT\_HOME to the root of your HCatalog installation.
Warning: /usr/local/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO\_HOME to the root of your Accumulo installation.
2021-09-08 16:52:22,191 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017

出现对应的版本信息则代表配置成功:

2021-09-08 16:52:22,191 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7

这里出现的三个 Warning 警告是因为没有配置 H B A S E _ H O M E 、 HBASE\_HOME、 HBASE_HOMEHCAT_HOME和 A C C U M U L O _ H O M E ,如果不使用 H B a s e 、 H C a t a l o g 和 A c c u m u l o ,忽略即可。 S q o o p 在启动时会去检查环境变量中是否有配置这些软件,如果想去除这些警告,可以修改 ACCUMULO\_HOME,如果不使用HBase、HCatalog和Accumulo,忽略即可。Sqoop在启动时会去检查环境变量中是否有配置这些软件,如果想去除这些警告,可以修改 ACCUMULO_HOME,如果不使用HBaseHCatalogAccumulo,忽略即可。Sqoop在启动时会去检查环境变量中是否有配置这些软件,如果想去除这些警告,可以修改{SQOOP_HOME}/bin/configure-sqoop ,注释掉不必要的检查。

## Moved to be a runtime check in sqoop.
#if [ ! -d "${HBASE\_HOME}" ]; then
# echo "Warning: $HBASE\_HOME does not exist! HBase imports will fail."
# echo 'Please set $HBASE\_HOME to the root of your HBase installation.'
#fi
## Moved to be a runtime check in sqoop.
#if [ ! -d "${HCAT\_HOME}" ]; then
# echo "Warning: $HCAT\_HOME does not exist! HCatalog jobs will fail."
# echo 'Please set $HCAT\_HOME to the root of your HCatalog installation.'
#fi
#if [ ! -d "${ACCUMULO\_HOME}" ]; then
# echo "Warning: $ACCUMULO\_HOME does not exist! Accumulo imports will fail."
# echo 'Please set $ACCUMULO\_HOME to the root of your Accumulo installation.'
#fi



### 最后的话

最近很多小伙伴找我要Linux学习资料,于是我翻箱倒柜,整理了一些优质资源,涵盖视频、电子书、PPT等共享给大家!

### 资料预览

给大家整理的视频资料:

![](https://img-blog.csdnimg.cn/img_convert/fbec8f835c62ed0a5b190b49c86c3995.png)

给大家整理的电子书资料:

  

![](https://img-blog.csdnimg.cn/img_convert/5890ab2c10967cab1e8ebed0fe5b4e6d.png)



**如果本文对你有帮助,欢迎点赞、收藏、转发给朋友,让我有持续创作的动力!**
-iR1qjfxQ-1719233283893)]

给大家整理的电子书资料:

  

[外链图片转存中...(img-lfr2Y7uA-1719233283893)]



**如果本文对你有帮助,欢迎点赞、收藏、转发给朋友,让我有持续创作的动力!**
  • 25
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值