Hadoop+Hive+Mysql数据分析与入库

最新推荐文章于 2024-07-01 11:26:37 发布

Dongle74

最新推荐文章于 2024-07-01 11:26:37 发布

阅读量891

点赞数

分类专栏： ※运维之旅※ 文章标签： hadoop sqoop hive

本文链接：https://blog.csdn.net/Sheldon74/article/details/112346480

版权

本文介绍了如何在Hadoop环境下配置Hive并连接到Mysql元数据，详细讲述了启动Hive的注意事项，包括hive启动依赖hadoop的情况。此外，还探讨了Hive表与Mysql之间的数据同步方法，以及遇到的问题与解决方案，如JDK版本、Hadoop配置、类加载器问题等。

摘要由CSDN通过智能技术生成

环境准备

JDK 1.8
Hadoop环境集群模式(伪分布式亦可），3.3.0
hive环境 3.1.2
mysql环境 5.7
sqoop工具 1.4.7_hadoop

以上工具安装步骤省略，hadoop集群安装参考

配置hive及初始化

配置元数据到mysql

编辑 $HIVE_HOME/conf/hive-site.xml文件

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://rm-2ze8m9018ujn2k1s3.mysql.rds.aliyuncs.com:3306/hive</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>iwanvi_wr</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>2019@iwanvi_rds</value>
	</property>
</configuration>

初始化

注意需要与配置选择一致

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

## dbType有多种：
#     derby 本地服务器数据库，java编写，小巧
#     mysql
#     postgresql

使用hive

本文仅简单示例，详细使用请参考官方文档

注意

hive启动需要hadoop先启动

访问hive

# 如果仅使用可以直接启动：
$HIVE_HOME/bin/hive

# 如果需要启动hive和webui则启动：
$HIVE_HOME/bin/hiveserver2
## hive端口 10000，可使用beeline访问，如果有验证，请已正确用户登录
beeline -u jdbc:hive2://localhost:10000
## web ui 端口10002