Spark 1.6 (Java) 问题汇总

原创 2016年06月02日 10:35:04

一、通过SparkSQL读取Oracle时报找不到Oracle JDBC包 (java.lang.ClassNotFoundException:oracle.jdbc.driver.OracleDriver)


说明

程序是本地通过Java将Spark提交给集群运行,但是集群上面没有Oracle JDBC包


解决方法:

官网对于集群运行JDBC的说明:

Troubleshooting

  • The JDBC driver class must be visible to the primordial class loader on the client session and on all executors. This is because Java’s DriverManager class does a security check that results in it ignoring all drivers not visible to the primordial class loader when one goes to open a connection. One convenient way to do this is to modify compute_classpath.sh on all worker nodes to include your driver JARs.

但是在/etc/profile文件中添加jar路径并没有效果

最终找到方法需要在代码中指定Worker的jar依赖,当然jar包已经上传到每台Worker上,代码如下:

SparkConf conf = new SparkConf().setAppName("Test").setMaster("spark://master2:7077");
		<span style="font-size:14px;color:#ff0000;">conf.set("spark.driver.extraClassPath", "/data/ojdbc14-10.2.0.3.0.jar");
	       conf.set("spark.executor.extraClassPath", "/data/ojdbc14-10.2.0.3.0.jar");</span>

		JavaSparkContext sparkContext = new JavaSparkContext(conf);
		sparkContext.hadoopConfiguration().set("fs.defaultFS", "hdfs://mycluster");
		sparkContext.hadoopConfiguration().set("dfs.nameservices", "mycluster");
		sparkContext.hadoopConfiguration().set("dfs.ha.namenodes.mycluster", "nn1,nn2");
		sparkContext.hadoopConfiguration().set("dfs.namenode.rpc-address.mycluster.nn1", "xx.xx.xx.xxx:8020");
		sparkContext.hadoopConfiguration().set("dfs.namenode.rpc-address.mycluster.nn2", "xx.xx.xx.xxx:8020");
		sparkContext.hadoopConfiguration().set("dfs.client.failover.proxy.provider.mycluster","org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

		
		SQLContext sqlContext = new SQLContext(sparkContext);
		Map<String, String> options = new HashMap<String, String>();
		options.put("url", "jdbc:oracle:thin:mioclub/mioclub3728@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=myrac-scan.mic.com.tw)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=myrac.mic.com.tw)))");
		options.put("dbtable", "mio_login_transfer");
		options.put("driver", "oracle.jdbc.driver.OracleDriver");
		DataFrame jdbcDF = sqlContext.read().format("jdbc"). options(options).load();
		Row a  = jdbcDF.first();
		
		DataFrame d2 = jdbcDF.limit(10);
		d2.rdd().saveAsTextFile("/Test/sql.txt");



版权声明:本文为博主原创文章,未经博主允许不得转载。

spark 1.6.0 安装与配置(spark1.6.0、Ubuntu14.04、hadoop2.6.0、scala2.10.6、jdk1.7)

spark 1.6.0 安装与配置(spark1.6.0、Ubuntu14.04、hadoop2.6.0、scala2.10.6、jdk1.7)

向Spark开炮:1.6版本问题总结与趟坑

笔者使用Spark已超过一年,现在公司大部分的批处理任务和机器学习任务都运行在Spark平台之上,MapReduce已经成为历史。目前生产环境刚从Spark 1.4.1升级到最新版Spark 1.6....
  • A3301
  • A3301
  • 2016年11月19日 11:59
  • 417

解决“Maven项目中的Dynamic Web Module 3.0 requires Java 1.6 or newer”问题

错误描述 当创建有动态web模块3.0支持的项目时,需要用到Java版本不低于1.6。 在Markers标签页中显示的错误为:Dynamic Web Module 3.0 requires Java ...
  • conansix
  • conansix
  • 2014年07月05日 21:25
  • 16070

基于Ubuntu/Debian的hadoop2.7.2+spark1.6实验环境快速部署

hadoop2.7+Spark1.4环境搭建 摘要 主要是为了搭建spark,但是spark需要hadoop的hdfs和yarn,所以需要先搭建hadoop 一、hadoop伪分布式搭建  ...

sparkstreaming直连kafka源码分析(基于spark1.6)

val data = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder]( ssc, kafka...

Spark MLlib 1.6 -- 特征抽取和变换

·  TF-IDF ·  Word2Vec ·       Model ·       Example ·  StandardScaler ·       Model Fitti...

Spark Streaming 1.6 流式状态管理分析

Spark 1.6发布后,官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。 关于状态管理 在流式计算中,数据是持续不断来的,有时候我们...
  • vfgbv
  • vfgbv
  • 2016年04月28日 11:10
  • 321

Spark1.6 onYARN 安装手记

在现在的环境中hadoop+spark+mpp的OLAP的场景越来越多,学习spark需要的第一步就是搭建测试环境。 一、前提准备 spark或者说hadoop集群的最小机器就是3台,分别如下:1...

spark 1.6 MLlib

MLlib 是spark 机器学习的库,它的目标是使机器学习算法能更容易上手。这个库包含通用学习算法和工具集,包括:分类,回归,聚类,协同过滤,降维,以及深层优化策略和上层管道API(pipeline...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark 1.6 (Java) 问题汇总
举报原因:
原因补充:

(最多只允许输入30个字)