sqoop的安装配置

首先进行配置我们需要提前准备压缩包sqoop-1.4.6-cdh5.14.2.tar.gz以及一些依赖jar包java-json.jar & mysql-connector-java-5.1.27-bin.jar将压缩文件解压到指定目录中重命名 mv sqoop-1.4.6-cdh5.14.2/ sqoop146将mysql和json依赖包拷贝到sqoop146/lib/中 [root@vwmaster lib]# pwd /opt/bigdata/hadoop/sqoop146/
摘要由CSDN通过智能技术生成

首先进行配置我们需要提前准备压缩包sqoop-1.4.6-cdh5.14.2.tar.gz以及一些依赖jar包java-json.jar & mysql-connector-java-5.1.27-bin.jar

将压缩文件解压到指定目录中/opt/bigdata/hadoop
去到指定目录重命名解压文件

 mv sqoop-1.4.6-cdh5.14.2/ sqoop146

将mysql和json依赖包拷贝到sqoop146/lib/中

  [root@vwmaster lib]# pwd
  /opt/bigdata/hadoop/sqoop146/lib

导入我们需要的 jar 包

[root@vwmaster lib]# cp /opt/install/hadoop/java-json.jar ./
[root@vwmaster lib]# cp /opt/install/hadoop/mysql-connector-java-5.1.38.jar ./
[root@vwmaster lib]# cp /opt/bigdata/hadoop/hive110/lib/hive-common-1.1.0-cdh5.14.2.jar ./									
[root@vwmaster lib]# cp /opt/bigdata/hadoop/hive110/lib/hive-exec-1.1.0-cdh5.14.2.jar ./

在sqoop146上一级别目录中创建文件夹sqoop并将sqoop146软连接到sqoop

 ln -s sqoop146/ sqoop/

#配置环境变量并激活

vi /etc/profile
export SQOOP_HOME=/opt/bigdata/hadoop/sqoop146
export PATH=$SQOOP_HOME/bin:
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是Sqoop安装配置步骤: 1. 确保已经安装配置HadoopHive和MySQL。 2. 进入/opt目录,并解压Sqoop安装包到/app目录下,并将解压好的安装包重命名为sqoop。执行以下命令: ```shell mkdir /app cd /opt tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /app cd /app mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop ``` 3. 配置Sqoop的环境变量。编辑~/.bashrc文件,并添加以下内容: ```shell export SQOOP_HOME=/app/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 保存并退出文件。 4. 使环境变量生效。执行以下命令: ```shell source ~/.bashrc ``` 5. 配置Sqoop的连接参数。进入Sqoop的conf目录,并复制模板文件sqoop-env-template.sh为sqoop-env.sh。执行以下命令: ```shell cd /app/sqoop/conf cp sqoop-env-template.sh sqoop-env.sh ``` 6. 编辑sqoop-env.sh文件,并设置以下参数: ```shell export HADOOP_COMMON_HOME=/path/to/hadoop export HADOOP_MAPRED_HOME=/path/to/hadoop export HIVE_HOME=/path/to/hive export ZOOKEEPER_HOME=/path/to/zookeeper ``` 将/path/to/hadoop、/path/to/hive和/path/to/zookeeper替换为实际的路径。 7. 配置Sqoop的数据库连接参数。进入Sqoop的conf目录,并复制模板文件sqoop-site-template.xml为sqoop-site.xml。执行以下命令: ```shell cd /app/sqoop/conf cp sqoop-site-template.xml sqoop-site.xml ``` 8. 编辑sqoop-site.xml文件,并设置以下参数: ```shell <property> <name>sqoop.metastore.client.enable.autoconnect</name> <value>true</value> </property> <property> <name>sqoop.metastore.client.autoconnect.url</name> <value>jdbc:mysql://localhost:3306/sqoop_metastore</value> </property> <property> <name>sqoop.metastore.client.autoconnect.username</name> <value>sqoop</value> </property> <property> <name>sqoop.metastore.client.autoconnect.password</name> <value>password</value> </property> ``` 将localhost、3306、sqoop_metastore、sqoop和password替换为实际的数据库连接信息。 9. 完成以上配置后,Sqoop就已经安装配置好了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值