【Spark案例】本地访问cdh集群不将配置文件放入resource目录方式

最新推荐文章于 2024-08-31 22:36:43 发布
最新推荐文章于 2024-08-31 22:36:43 发布
阅读量3.4k 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/olddirverhelpme/article/details/124413067
版权
本文介绍了如何在不将配置文件放入resource目录的情况下，使用Spark本地访问CDH集群。针对Java和Python两种环境，分别提供了解决方案。在Java中，通常需要将配置文件放入resource目录，但在Python中，可以直接读取配置文件内容，设置SparkConf参数来实现远程集群的访问。
摘要由CSDN通过智能技术生成

【Spark案例】本地访问cdh集群不将配置文件放入resource目录方式

背景故事

今天我领导，他想用pyspark连接集群中的hive，作数据分析用。于是这变成了一个在本地集群中如何访问远程集群的问题。
在python环境中使用pyspark构建sparkSession的过程当中，config参数选项里面配置了一个hive.metastore.uris的时候，sparkSession能够访问hive的数据库，及表信息。但是读取数据的时候会发生报错。

问题分析

在java中

如果是maven构建的java项目当中，使用spark远程连接集群的话，需要在项目中的resource文件目录下面将hadoop的配置文件如hdfs-site.xml,core-site.xml,mapred-site.xml,yarn-site.xml文件放置进resource目录中。接下来运行的时候，maven会将这些配置文件打包到classpath中。然后源代码中，就会加载这些配置文件，相关的代码如下：
代码路径：org/apache/hadoop/conf/Configuration.java

最低0.47元/天 解锁文章
芹菜学长
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-测试cdh集群中spark是否正常运行
lisery的博客
10-29 2138
1.本地模式 [root@cdh01 ~]# spark-submit --master local --class org.apache.spark.examples.SparkPi /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/spark/lib/spark-examples.jar 10 18/10/29 14:39:08...
spark-resource-loading:用于同步资源文件夹中所做更改的 Spark Java 插件
06-25
资源文件夹重新加载 这个插件解决了每次对 html/css/js 或模板文件进行更改时都需要重新启动 Spark 的烦人问题。 此插件仅适用于开发目的。 用法 将以下依赖项添加到您的pom.xml ： <dependency> <groupId>com.sparkjava</groupId> <artifactId>spark-resource-reloading</artifactId> <version>1.0.0</version> </dependency> 将以下内容添加到您的主要方法中： import spark.reloading.ResourceFolderObserver; public class App{ public static void main(String[] args) { get(“/pi
spark编程05——本地访问Spark集群(StandAlone模式)和sparkSession常用配置
SYITwin的博客
03-18 1403
以下代码用IDEA直接访问spark集群运行（地址是随便写的虚拟地址） 注意：一定要确保spark的版本和集群spark的版本保持一致，集群版本是3.2.0 所以如果IDEA中不是3.2.0的话，修改pom.xml文件： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>sp.
Spark Resources
weixin_34018169的博客
12-17 105
Version 1.1.1 Apache Doc List Advanced Spark Internals and Tuning – Reynold Xin –SLIDES|VIDEO Spark SQL – Michael Armburst –SLIDES|VIDEO Spark Streaming – Tathagata Das –SLIDES|VIDEO M...
Spark resource links
u014643435的专栏
06-22 229
http://blog.csdn.net/anzhsoft/article/details/30272867
Spark修炼之道（高级篇）——Spark源码阅读：第七节 resourceOffers方法与launchTasks方法解析...
weixin_34401479的博客
10-28 243
在上一节中，我们提到Task提交通过makeOffers提交到Executor上 // Make fake resource offers on just one executor private def makeOffers(executorId: String) { // Filter out ex...
spark-2.4.6-cdh5.16.2
06-14
用户可以通过解压此文件，在CDH集群上安装和配置Spark，以实现数据处理和分析任务。 总的来说，Spark 2.4.6与CDH 5.16.2的结合为大数据处理提供了一个强大而稳定的平台，它集成了高效的数据处理、实时流处理、机器...
spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz
10-19
在本例中，我们讨论的是Spark 2.2.1版本与CDH 5.14.2的集成，具体文件为"spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz"，这是一个压缩包文件，用于在CDH环境中部署Spark。 首先，让我们深入了解Spark的核心概念。Spark...
CDH部署Hive、Spark、oozie、hue、sqoop等
菜鸟的博客
07-18 1130
hive spark cdh
spark配置core-site.xml文件.pdf
04-25
Spark配置core-site.xml的一个简单的pdf文档，供给给打架，然后这里面配置的项目有节点数的多少和节点数的大小
hdfs-site.xml配置文件详解
10-22
hdfs-site.xml配置文件详解，有需要的可以下载哈哈哈哈哈
CDH测试Spark与Hive的连接不正常
weixin_43214808的博客
05-22 482
测试Spark与hive的连通性代码 from pyspark.sql import SparkSession spark = SparkSession.builder.appName("spark sql hive query").enableHiveSupport().getOrCreate() spark.sql("show databases").show() PYSPARK_PYTHON=/home/bbders/anaconda3/bin/python3.6 /usr/bin/spark2-s
hbase 2.0.2安装配置
congtuo7221的博客
09-12 381
hbase2.0.2安装： 1.hadoop2.6.1已经安装 2.zookeeper3.4.12安装 3.修改配置文件 hbase-env.sh exportJAVA_HOME=/apps...
Spark 2.0系列之SparkSession详解
imgxr的博客
08-23 5586
原文链接：How to use SparkSession in Apache Spark 2.0 作者：Jules Damji 译者：刘旭坤 责编：郭芮，关注大数据领域，寻求报道或投稿请发邮件guorui@csdn.net。另有CSDN Spark用户微信群，请添加微信guorui_1118并备注公司+实名+职位申请入群。 Spark2.0中引入了SparkSession...
CDH6.3.1发行版，idea本地调试spark连接hive仓库demo
FengYeHanQiu的博客
02-25 1580
最近接手个CDH6.3.1版本的大数据集群，以前我搭建的都是apache原生Hadoop集群，通过编辑器调试sparkSQL读取hive很容易。现在遇到CDH整合后的集群还是有点不习惯，找到cdh环境中的hive-site.xml里面配置基本没用。网上找了许多感觉没有正解，我按照原生apache的hive-site.xml配置更改了下，可以实现本地idea调试启动spark程序读取hive表。 项目结构 hive-site.xml配置 <?xml version="1.0"?> &l
CDH6.3.2 hadoop3 配置viewfs实操指南
h952520296的博客
02-18 1333
我们可以通过linkMergeSlash将挂载表的根与另一个文件系统的根合并。在下面的挂载表配置中，ClusterY 的根目录与位于hdfs://nn1-clustery.example.com:8020的根文件系统合并。第一种挂载方式是经典的viewfs挂载方式，viewfs实际上提供了一种映射关系，将一个全局（逻辑）目录映射到某个具体的namenode（物理）目录上。这个集群里的文件夹都来自各个集群或者本身的挂载，虚拟集群本身是没有文件夹的。使用感受会差很多，没有在一个集群里的感觉了。
windows 上搭建pyspark环境，并使用pyspark连接hive
weixin_43942345的博客
03-07 3771
windows 上搭建pyspark环境，并使用pyspark连接hive 由于最近有使用python连接hive，编写spark程序的需求，所以开始搭建pyspark的windows开发环境 开发环境：pycharm2018 + python3.6 + spark2.3 + pyspark2.3 + hadoop2.6 1.安装jdk1.8以上版本 1.下载并安装jdk1.8，记住安装路径 下载...
本地Spark连接远程集群Hive(Scala/Python)
程序员小陶的大数据分享
05-12 2289
精选30+云产品，助力企业轻松上云！>>> ...
python学习之路 - PySpark快速入门
最新发布
qq_41444892的博客
08-31 465
pyspark快速入门
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值