大数据可视化——Sqoop与Hive的安装详解

最新推荐文章于 2024-05-28 21:28:23 发布

缘昔

最新推荐文章于 2024-05-28 21:28:23 发布

阅读量859

点赞数 1

文章标签： hive 大数据 sqoop

本文链接：https://blog.csdn.net/weixin_58648684/article/details/127666985

版权

Sqoop安装教程

下载Sqoop

点这里=> 这是Sqoop官网下载路径
本次Sqoop使用的是1.4.2的版本
list

下载sqoop-xxx.bin__hadoop.tar.gz 版本自选

安装与配置Sqoop

下载完成后，将压缩包通过ssh连接工具（此处使用的是FinalShell连接工具）上传到Linux

在这里插入图片描述
将压缩包上传完成后，使用tar命令解压到合适路径（此处选择的解压路径为/usr/local）

解压完成后进入sqoop路径下的conf文件中（此处为cd /usr/local/sqoop-1.4.2.bin_had/conf）
通过示例文件创建并配置配置文件
cp sqoop-env-template.sh sqoop-env.sh
编辑配置文件

export HADOOP_COMMON_HOME=/usr/local/hadoop-2.7.7
export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.7.7
export HIVE_HOME=/usr/local/apache-hive-1.2.2-bin

将mysql的驱动包mysql-connector-java-5.1.46-bin.jar复制到Sqoop安装目录下的lib文件夹中(在mysql中可以找到的)

配置环境变量

#sqoop
export SQOOP_HOME=/usr/local/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin

source ~/.bashrc

配置完成后检查是否Sqoop成功
sqoop version

在这里插入图片描述

成功配置Sqoop显示版本号后，去自己的本机或者服务器启动本地Mysql服务，要事先检查Mysql是否可以远程连接
在这里插入图片描述

启动Mysql服务后，使用Sqoop查看本地数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 123456

`` 在这里插入图片描述

Hive安装

Hive下载与全局路径配置

点这里=> 官方下载路径
同理下载tar.gz压缩包，下载完成后上传到Linux上并解压，此处的路径也是/usr/local
在这里插入图片描述
使用tar命令解压

配置/etc/profile配置文件，配置hive全局路径

重启配置文件

Hive配置

进入hive安装目录的conf文件
在这里插入图片描述

配置hive-env.sh

将hive-env模板文件拷贝进行自定义配置
cp hive-env.sh.template hive-env.sh
配置这两个路径，要根据自己本机安装路径来
在这里插入图片描述

配置hive-site.xml

同理cp hive-site.xml.template hive-site.xml
配置hive-site.xml


<configuration>


<property>

<name>javax.jdo.option.ConnectionURL</name>
//所连接的MySQL数据库实例，这里的yurrize要改成自己的数据库ip地址
<value>jdbc:mysql://yurrize:3306/hive?createDatabaseIfNotExist=true</value>

</property>


<property>

<name>javax.jdo.option.ConnectionDriverName</name>
//连接的MySQL数据库驱动 
<value>com.mysql.jdbc.Driver</value>

</property>


<property>

<name>javax.jdo.option.ConnectionUserName</name>
//连接的MySQL数据库用户名 
<value>yurrize</value>

</property>


<property>

<name>javax.jdo.option.ConnectionPassword</name>
//连接的MySQL数据库密码 
<value>密码</value>

</property>

</configuration>

设置hive日志

cd conf

cp hive-log4j2.properties.template hive-log4j2.properties

vim hive-log4j2.properties

修改以下内容：

property.hive.log.dir = /usr/local/apache-hive-2.3.9-bin/log
在这里插入图片描述

本地数据库连接成功

Hive安装常见问题

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

遇到此类型报错，请再次检查hive-site.xml数据库连接信息以及自己的ip地址