Sqoop安装配置

1.解压Sqoop安装包到/opt/module中

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module

cd /opt/module

mv sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz sqoop1.4

2.配置Sqoop环境变量,编辑文件/etc/profile,添加内容,输入命令使其生效

vim /etc/profile

添加内容

export SQOOP_HOME=/opt/module/sqoop1.4

export PATH=$PATH:$SQOOP_HOME/bin

使配置生效

source /etc/profile

3.配置Sqoop配置文件

cd /opt/module/sqoop

cp sqoop-env-template.sh sqoop-env.sh

vim sqoop-env.sh

添加内容:

export HADOOP_COMMON_HOME=/opt/module/hadoop3

export HADOOP_MAPRED_HOME=/opt/module/hadoop3

4. 添加jar包

在lib目录下加入Mysql和处理json的jar包

cp /opt/software/mysql-connector-java-5.1.37-bin.jar $SQOOP_HOME/lib

cp /opt/software/java-json.jar $SQOOP_HOME/lib

5.验证

sqoop version

6.测试

展示mysql中sys库中的所有表

sqoop list-tables \

--connect jdbc:mysql://localhost:3306/sys \

--username root \

--password 000000

(注意改成自己的数据库连接信息)

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是Sqoop安装配置步骤: 1. 确保已经安装配置HadoopHiveMySQL。 2. 进入/opt目录,并解压Sqoop安装包到/app目录下,并将解压好的安装包重命名为sqoop。执行以下命令: ```shell mkdir /app cd /opt tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /app cd /app mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop ``` 3. 配置Sqoop的环境变量。编辑~/.bashrc文件,并添加以下内容: ```shell export SQOOP_HOME=/app/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 保存并退出文件。 4. 使环境变量生效。执行以下命令: ```shell source ~/.bashrc ``` 5. 配置Sqoop的连接参数。进入Sqoop的conf目录,并复制模板文件sqoop-env-template.sh为sqoop-env.sh。执行以下命令: ```shell cd /app/sqoop/conf cp sqoop-env-template.sh sqoop-env.sh ``` 6. 编辑sqoop-env.sh文件,并设置以下参数: ```shell export HADOOP_COMMON_HOME=/path/to/hadoop export HADOOP_MAPRED_HOME=/path/to/hadoop export HIVE_HOME=/path/to/hive export ZOOKEEPER_HOME=/path/to/zookeeper ``` 将/path/to/hadoop、/path/to/hive和/path/to/zookeeper替换为实际的路径。 7. 配置Sqoop的数据库连接参数。进入Sqoop的conf目录,并复制模板文件sqoop-site-template.xml为sqoop-site.xml。执行以下命令: ```shell cd /app/sqoop/conf cp sqoop-site-template.xml sqoop-site.xml ``` 8. 编辑sqoop-site.xml文件,并设置以下参数: ```shell <property> <name>sqoop.metastore.client.enable.autoconnect</name> <value>true</value> </property> <property> <name>sqoop.metastore.client.autoconnect.url</name> <value>jdbc:mysql://localhost:3306/sqoop_metastore</value> </property> <property> <name>sqoop.metastore.client.autoconnect.username</name> <value>sqoop</value> </property> <property> <name>sqoop.metastore.client.autoconnect.password</name> <value>password</value> </property> ``` 将localhost、3306、sqoop_metastore、sqoop和password替换为实际的数据库连接信息。 9. 完成以上配置后,Sqoop就已经安装配置好了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值