scala
RayBreslin
大数据开发、设计企业应用
展开
-
Exception in thread “main“ java.lang.NoClassDefFoundError: scala/Product$class
一、问题描述Spark任务,通过输入参数配置灵活配置任务运行时间,但是,在一套新代码重报错Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class at scopt.OptionParser.<init>(options.scala:175) at com.common.RichOptionParser.<init>(RichOptionParser原创 2021-12-02 17:26:15 · 3449 阅读 · 0 评论 -
问题:无法引入 import com.typesafe.config
一、问题描述代码中无法引入 import com.typesafe.config,但是相关依赖已经引入pom中,而且查看对应jar包也有,但是在指定类中无法导入。二、解决办法重新导入依赖即可,如下图。原创 2021-04-24 12:40:14 · 704 阅读 · 0 评论 -
(转)scala异常处理
Scala 异常处理Scala 的异常处理和其它语言比如 Java 类似。Scala 的方法可以通过抛出异常的方法的方式来终止相关代码的运行,不必通过返回值。抛出异常Scala 抛出异常的方法和 Java一样,使用 throw 方法,例如,抛出一个新的参数异常:throw new IllegalArgumentException捕获异常异常捕捉的机制与其他语言中一样,如果有异常发生,catch字句是按次序捕捉的。因此,在catch字句中,越具体的异常越要靠前,越普遍的异常越靠后转载 2020-09-15 00:12:24 · 199 阅读 · 0 评论 -
IDEA构建spark的maven项目pom报错:expected START_TAG or END_TAG not TEXT (position:TEXT seen ...
一、问题描述在IDEA的maven项目,在pom页面标红报错<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt...原创 2019-01-16 21:46:17 · 27923 阅读 · 6 评论 -
IDEA(1):创建Scala的MAVEN项目步骤
一、创建项目1.新建project2.选择scala-archetype-simple结构3.设置三要素GroupId、ArtifactId和Version4.选择本地Maven仓库5.修改项目名称,点击finish6.最终项目结构二、修改pom文件1.添加scala依赖 <dependency> <...原创 2018-11-24 06:26:16 · 2557 阅读 · 0 评论 -
scala(一):通过jdbc连接mysql数据库
1.主题描述scala针对MySQL数据库进行增删改查的基本操作。 2.代码package SparkSQLproject.Logimport java.sql.{Connection, DriverManager}/** * scala通过jdbc连接mysql */object self_scalaMysql { def main(args: Array...原创 2018-10-06 16:41:32 · 1961 阅读 · 0 评论 -
Idea打包:scala打成jar包
步骤:1.第一步:file -> project Structure -> Artifacts -> + ->jar -> from modules DeXXX -> OK(什么都不用选,直接OK) ->把相关依赖包全删了,留最后一个out -》修改下Output directory的路径为E:\MySalcaWorkSpace\spark(这...原创 2018-09-20 23:16:28 · 7880 阅读 · 1 评论 -
spark submit提交任务报错Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/spark/stream
1.问题描述提交spark任务:bin/spark-submit --master local[2] \--class _0924MoocProject.ImoocStatStreamingApp_product \/opt/datas/project/scalaProjectMaven.jar \bigdata.ibeifeng.com:2181/kafka08 test str...原创 2018-09-25 23:54:55 · 9182 阅读 · 0 评论 -
Spark2.1.X源码编译总结(参考官网)
一、环境参考:http://spark.apache.org/docs/2.1.0/building-spark.html1.硬件:虚拟机内存4G以上。(吐血记忆,因为这个吃亏无法编译成功!)2.软件:(1)Java1.8:官网要求1.7+查看java版本,确认1.8。(如果不是则删除系统自带的java,重新安装java,自己没有检查,结果发现java是1.5,导致编译失败...原创 2018-09-30 21:25:01 · 141 阅读 · 0 评论 -
IDEA报错:Error:(13, 14) HBaseUtils is already defined as object HBaseUtils public class HBaseUtils {
1.问题:Idea编译java代码报错:Error:(13, 14) HBaseUtils is already defined as object HBaseUtilspublic class HBaseUtils { 2.原因:自己将src/main下新建一个java目录,然后设置为sources。idea无法编码单个确定的目录。 3.解决,去除这个source...原创 2018-09-25 07:45:22 · 547 阅读 · 0 评论