spark
不想做靓仔
能帮到你实在是太好了~
展开
-
已解决:spark报错SecurityException:class javax.servlet.FilterRegistration冲突
今天写代码时报错java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package翻译一下:java.lang.SecurityException:类“ javax.servlet.FilterRegistration”的签名者信息与同一包中其他类的原创 2020-06-10 20:53:40 · 559 阅读 · 0 评论 -
spark集群启动流程
今天来说一下spark集群的启动流程:1.通过调用start-all.sh来启动Master和Worker,首先启动的是Mastor2.Master服务启动后,在PreStart方法中会启动一个定时器定时检查超时的Worker3.执行receive方法,不断地接受其他Actor发送过来的请求4.在调用start-all.sh脚本的同时,会解析slaves配置文件,获取到用于启动Worker...原创 2018-11-13 21:26:21 · 1109 阅读 · 0 评论 -
解决Spark2.0之后,报错No implicits found for parameter evidence$6: Encoder
当我们在使用spark1.6的时候,当我们创建SQLContext读取一个文件之后,返回DataFrame类型的变量可以直接.map操作,不会报错。但是升级之后会包一个错误,如下: 报错:No implicits found for parameter evidence$6: Encoder[Unit] 主要的错误原因为: ******error: Unable to ......原创 2019-03-25 18:22:18 · 14209 阅读 · 6 评论 -
spark面试:RDD总结
这几天面试被问到了好几次RDD,感觉都没令面试官满意,下面做了一些简单总结,欢迎大家指出问题:可以从几个方面来回答,概念、源码层、容错性、缓存、分区等概念RDD,全称是弹性分布式数据集(Resilient Distributed Dataset),是spark底层的抽象概念,弹性主要体现在 :其数据默认是放在内存中,只有放不下了才会放到磁盘,并且每个task执行失败可以进行重新计算;分布...原创 2019-09-28 18:11:12 · 698 阅读 · 1 评论