- 博客(5)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 Spark-Submit脚本执行
如果使用的spark://，那么代表就是standalone模式，那么就需要sbin/start-all.sh启动一下spark集群进行资源调度。/usr/spark/sbin/start-all.sh ---启动spark集群所有节点而 /usr/spark/sbin/start-master.sh 则是在驱动器节点进行启动主节点(master),/usr/spark/sbin/star
2018-01-22 15:46:20
855
原创 Java ClassNotFound
Java,scala 开发中很容易遇到ClassNotFound,NoClassDefFoundError,很容易弄混淆,但是而这有区别.一般情况下ClassNotFound:是否工程没有对应的依赖Jar,所以在工程,程序运行时,无法加载对应的类,从而报错.解决: 根据异常,找到程序所需依赖Jar,选择合适,兼容版本配置到工程中.NoClassDefFoundErr
2018-01-22 15:20:50
1452
原创 Spark+hadoop 开发总结
错误总结:1.Caused by: java.lang.ClassNotFoundException: scala.xml.MetaData解决:POM配置依赖dependency>dependency>2.版本冲突Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$scope()Lsca
2018-01-22 14:37:54
4193
原创 Maven 配置Spark + hadoop
工程基于Spark 2.0.0 + hadoop 2.8.0 构建,数据裤使用MongoDB,以下为配置详情.如果遇到版本冲突,用以下命令查看maven 依赖关系,排除错误依赖版本,配置所缺依赖版本一 查看依赖mvn生成依赖解析树,用于查看版本冲突,哪个版本被使用mvn dependency:treemvn dependency:tree >>dependency.log
2018-01-22 14:36:36
1100
原创 Gradle 配置Spark 2.0.0 + hadoop 2.8.0 + Mongo 3.4.2 文件配置
由于Spark2.0.0以上默认2.11.x编译,所以对用哪个版本,可以自己选择,可以让gradle自行导入,如果出现错误,可以再进行解决.一下是具体的配置文件,包含打包Task.setting.gradlerootProject.name = 'TestGradle3'build.gradle group '项目包路径'version '1.0-SNAPSHOT'appl...
2018-01-22 14:28:58
652
Flume 根据字段进行路由插入 ES
2019-04-26
验证码工程源码
2016-11-02
JDBC连接Oralce数据库驱动
2014-03-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人