Sqoop(2)——安装

Sqoop2)——安装

  1. 下载解压

http://www.apache.org/dyn/closer.lua/sqoop/1.4.7

  1. 【可选步骤】配置环境变量

  1. 添加数据库驱动包

如果需要连接的关系型数据库是Mysql,那么就需要将Mysql的驱动包拷贝至sqoop的lib下。

cp mysql-connector-java-5.1.10.jar /sqoop-install-path/lib

  1. 重命名配置文件

mv sqoop-env-template.sh sqoop-env.sh

  1. 修改配置文件

    1. (可选配置)HADOOP_COMMON_HOME

如果在系统的环境变量中配置了HADOOP_HOME则可以不用配置此项,否则就必须配置。配置值是HADOOP的根目录

  1. (可选配置)HADOOP_MAPRED_HOME

如果在系统的环境变量中配置了HADOOP_HOME则可以不用配置此项,否则就必须配置。配置值是HADOOP的根目录

  1. (可选配置)HIVE_HOME

本例子中最终是将数据从Mysql导入到Hive,所以需要配置HIVE_HOME,同样的,如果在系统的环境变量中配置了HIVE_HOME,则不需要在sqoop-env.sh文件中配置,否则就必须配置。

  1. 测试

sqoop version

这个命令用来查看sqoop的版本

sqoop list-databases -connect jdbc:mysql://node3:3306/ -username root -password 123

这个命令用来查看mysql数据库中数据库的列表

  1. 去掉Warning

上面执行命令过程中总是会出现警告,是因为我们有的模块没有配置,例如HCatalog模块、Accumulo模块,这些没有用到的模块没有配置并不影响工作,如果想去掉警告可以在$SQOOP_HOME/bin/configure-sqoop文件中注释掉相应的代码,如下:

 

修改配置configure-sqoop

去掉未安装服务相关内容;例如(HBase、HCatalog、Accumulo):

#if [ ! -d "${HBASE_HOME}" ]; then

# echo "Error: $HBASE_HOME does not exist!"

# echo 'Please set $HBASE_HOME to the root of your HBase installation.'

# exit 1

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
安装Sqoop时,需要配置Hive的安装目录。可以按照以下步骤进行操作: 1. 下载Sqoop的压缩包并解压到合适的路径,比如 `/usr/local/sqoop`。可以使用以下命令进行解压: ``` sudo tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/ ``` 2. 进入Sqoop安装目录: ``` cd /usr/local/sqoop ``` 3. 创建并配置Sqoop的配置文件: ``` cp conf/sqoop-env-template.sh conf/sqoop-env.sh ``` 4. 编辑配置文件 `sqoop-env.sh`,设置Hive的安装目录: ``` export HIVE_HOME=/usr/local/apache-hive-1.2.2-bin ``` 5. 保存并退出配置文件。 完成以上步骤后,Sqoop就可以与Hive进行集成了。请确保Hive已经正确安装,并且Hive的安装目录与上述配置文件中的路径一致。 #### 引用[.reference_title] - *1* *3* [安装sqoop](https://blog.csdn.net/weixin_45955039/article/details/123411295)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [大数据可视化——Sqoop与Hive的安装详解](https://blog.csdn.net/weixin_58648684/article/details/127666985)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值