![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
滑冰选手库里
纸上得来终觉浅,绝知此事要躬行
展开
-
spark读取oracle ebs排坑No matching authentication protocol
特别建议:Oracle9.0以后的版本都建议使用:“oracle.jdbc.OracleDriver”加载驱动类,而不再使用“oracle.jdbc.driver.OracleDriver”.3.解决方法:更新驱动版本,我是直接拿DBeaver的驱动包,找到对应的存储文件。报错No matching authentication protocol。1.先在DBeaver输入登陆信息上正常登陆,测试账号等信息正常。刚开始pom文件配置的是,调试了很多遍,都是。pom文件更新成导入jar包的版本。原创 2022-12-13 17:28:38 · 516 阅读 · 1 评论 -
解决Exception in thread “main“ java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSONObject
尝试了一些操作之后发现将对应的包com.alibaba:fastjson:1.2.47引入进去就不会报错了原创 2021-11-23 17:39:05 · 2836 阅读 · 0 评论 -
解决IDEA打包,然后执行报找不到类的问题,IDEA package后执行jar包报错
正常我们双击package打包时没问题的,突然有次打包发现,咦~ 这jar包的大小怎么才这么一点。然后去执行jar包就包找不到类的错误。然后去打包目录target\classes目录下发现,这下面的class文件没有生成。然后就各种找问题,包括clean也没用最后rebuild project,然后再执行打包,完美解决!!...原创 2020-07-17 10:06:37 · 5669 阅读 · 3 评论 -
IDEA中Spark读写Hive测试
1.将集群上的hive-site.xml文件拷贝到maven工程的resource目录下并新增下面代码即可<property> <name>hive.metastore.uris</name> <value>thrift://hadoop000:9083</value></property>参...原创 2020-03-18 10:21:24 · 1414 阅读 · 0 评论 -
在Intellij IDEA 中编写WordCount程序并打包到集群测试
在前面两篇博客的基础上:https://blog.csdn.net/weixin_40096730/article/details/102782195https://blog.csdn.net/weixin_40096730/article/details/89921176package com.likexinTest.BigData.Sparkimport org.apache...原创 2019-11-05 11:22:51 · 1001 阅读 · 0 评论 -
Spark Standalone模式与测试
版本配置:spark-2.1.1-bin-hadoop2.7.tgzhadoop2.7.3Standalone 模式概述构建一个由 Master+Slave 构成的 Spark 集群,Spark 运行在集群中。2.4.2 安装使用spark包解压后进入目录 /usr/local/BigDataApp/spark-2.1.1-bin-hadoop2.71)...原创 2019-05-06 08:35:46 · 716 阅读 · 0 评论 -
Spark JobHistoryServer配置
在spark配置文件目录下:/usr/local/BigDataApp/spark-2.1.1-bin-hadoop2.7/conf1)修改 spark-default.conf.template 名称mv spark-defaults.conf.template spark-defaults.conf2)修改 spark-default.conf 文件,开启 Log:vim spark...原创 2019-05-06 13:22:21 · 976 阅读 · 0 评论 -
Spark HA配置
版本配置:spark-2.1.1-bin-hadoop2.7.tgzhadoop2.7.3zookeeper-3.4.10架构图:在前面 Zookeeper、Spark JobHistoryServer配置、Spark Standalone模式与测试的基础上:该文章配置的HA是针对Standalone模式的。1)zookeeper 正常安装并启动2)修改 s...原创 2019-05-06 14:08:55 · 177 阅读 · 0 评论 -
Spark Yarn模式
概述Spark 客户端直接连接 Yarn ,不需要额外构建 Spark 集群。有 有 yarn-client 和 和 yarn-cluster 两 种 模式 , 主要区别在于:Driver 程序的运行节点。yarn-client:Driver 程序运行在客户端,适用于交互、调试,希望立即看到 app 的输出yarn-cluster:Driver 程序运行在由 RM(ResourceMa...原创 2019-05-06 15:03:18 · 161 阅读 · 0 评论