步骤1 | |
1 | deom代码 |
2 | 安装配置jdk1.8 |
3 | 安装配置scala2.11.18 |
4 | 导入pom.xml中依赖jar:注意scala版本要和spark依赖的保持一致 |
5 | 下载Hadoop的bin包,设定环境变量HADOOP_HOME,值为解压后的目录 |
6 | 下载winutils.exe将其放到$HADOOP_HOME/bin/目录下 |
7 | 配置本地host:要想知道host的地址,可以ping mysql.csdn.net #远程hive的meterstore地址 192.168.25.22 mysql.csdn.net #远程的一个节点 192.168.25.25 node01.csdn.net |
8 | 在代码中配置hive.metastore.uris val spark = SparkSession .builder()
.appName("Spark Hive Example") .config("hive.metastore.uris", "thrift://mysql.csdn.net:9083")//远程hive的meterstore地址.enableHiveSupport() .getOrCreate() |
window+sparksql+hive+debug sparksql本地环境搭建
最新推荐文章于 2024-06-17 14:25:05 发布