一. 前期准备
1.linux搭建Java和Scala环境搭建
2. linux搭建hadoop+spark+hive分布式集群
hadoop分布式集群搭建:hadoop分布式集群搭建
spark分布式集群搭建:spark分布式集群搭建
hive分布式集群搭建:待完善
二.项目代码实现
1 需求
通过Spark Sql 查询Hive数据库数据
数据库:bi_ods;
表:owms_m_locator
2 maven 项目搭建
新增一个Mave project工程
3 实现代码
package com.lm.hive.SparkHive;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.