idea创建spark项目时,引入了SparkSession依赖,仍然报错,没有这个包

10 篇文章 0 订阅
3 篇文章 0 订阅

如图有这个依赖

 

 

写一个测试程序,run之后发现报错

 Error accessing D:\maven\repository\org\apache\spark\spark-sql_2.11\2.1.1\spark-sql_2.11-2.1.1.jar

object DataSparkHive{
  def main(args: Array[String]): Unit = {
    println("Hello World!")
  }
}

引入错误,所以用不了,这种情况要么删掉,重新下,要么换一个你有的,我这里还有一个2.12

换成2.12

再run一下,发现成功

 

 

引入成功 

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
IDEA中集成Hive,需要进行以下步骤: 1. 停止Hive服务并配置hive-site.xml文件。在hive-site.xml文件中,设置hive.zookeeper.quorum和hbase.zookeeper.quorum的值为HBase的ZooKeeper地址,例如192.168.180.147。 2. 将HBase的lib目录下的所有文件复制到Hive的lib目录下,确保不覆盖已有的文件。 3. 在代码中导入相关的Spark和Hive的,并创建SparkSession对象。设置HADOOP_USER_NAME为master,配置SparkSession的相关参数,如设置Spark的master为local\[*\],设置spark.sql.warehouse.dir为Hive的数据仓库目录,启用Hive支持。然后可以执行Hive的SQL语句,如执行"show databases"来展示数据库。 4. 在IDEA中操作HBase数据库,需要添加HBase的依赖。在pom.xml文件中添加hbase-client和hbase-server的依赖,指定对应的版本号。 5. 配置log4j,确保日志输出正常。 以上是在IDEA中集成Hive的一般步骤。具体的操作可以根据实际情况进行调整和配置。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *3* [HBaseAPI——IDEA操作HBase数据库&HBase与Hive的集成](https://blog.csdn.net/Helen_1997_1997/article/details/129395854)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [ideaSpark操作Hive](https://blog.csdn.net/m0_63086929/article/details/127775928)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值