Hadoop+Hive+Mysql数据分析与入库

环境准备

• JDK 1.8
• Hadoop环境 集群模式(伪分布式亦可），3.3.0
• hive环境 3.1.2
• mysql环境 5.7
• sqoop工具 1.4.7_hadoop

以上工具安装步骤省略，hadoop集群安装参考

配置hive及初始化

配置元数据到mysql

编辑 $HIVE_HOME/conf/hive-site.xml文件

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://rm-2ze8m9018ujn2k1s3.mysql.rds.aliyuncs.com:3306/hive</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>iwanvi_wr</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>2019@iwanvi_rds</value>
	</property>
</configuration>

初始化

注意需要与配置选择一致

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

## dbType有多种：
#     derby 本地服务器数据库，java编写，小巧
#     mysql
#     postgresql

使用hive

本文仅简单示例，详细使用请参考官方文档

注意

• hive启动需要hadoop先启动

访问hive

# 如果仅使用可以直接启动：
$HIVE_HOME/bin/hive

# 如果需要启动hive和webui则启动：
$HIVE_HOME/bin/hiveserver2
## hive端口 10000，可使用beeline访问，如果有验证，请已正确用户登录
beeline -u jdbc:hive2://localhost:10000
## web ui 端口10002 

hive ddl

本文仅简单示例，详细使用请参考