windows系统下在idea中用spark访问远程hive

最新推荐文章于 2024-08-04 00:33:27 发布

worldchinalee

最新推荐文章于 2024-08-04 00:33:27 发布

阅读量1w

点赞数 8

分类专栏： spark 文章标签： spark hive

本文链接：https://blog.csdn.net/worldchinalee/article/details/80182226

版权

NO	步骤
1	安装配置jdk1.8
2	安装配置scala2.11.18
3	写操作hive的demo
4	导入pom.xml中依赖jar
5	下载hadoop的binary包，我的版本是2.7.3
6	下载winutils.exe将其放到$HADOOP_HOME/bin/目录下
7	在启动类的运行参数中设置环境变量，HADOOP_HOME=D:\software1\hadoop-2.7.3，=后面是hadoop的安装目录
8	将hive-site.xml配置文件放到工程的resource目录中
9	如果有权限问题，可以关闭namenode权限检查

pom.xml的依赖关系如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</model