spark
本专栏讲解spark中各组件的使用,架构原理、实战案例,源码解剖等内容
橙子园
落地生根,长成参天大树
展开
-
java中spark中map、flatmap等算子需要implement的接口,以及使用情况的简单说明
1、spark 的JavaRDD使用map、flatmap、filter等算子时,统一需要implement接口 org.apache.spark.api.java.function.Function 使用方法: JavaRDD<CmaCoreMongoSpark> cma = cmaMongo .filter(new FilterCnMedicalPaperFunc()) .filter(new TimeFilterFunc(startTime, endTime原创 2021-09-10 17:08:17 · 977 阅读 · 0 评论 -
mac中localhost: ssh: connect to host localhost port 22: Connection refused
在学习spark时启动时:./start-all.sh 出现错误:localhost: ssh: connect to host localhost port 22: Connection refused 解决方法是选择系统偏好设置->选择共享->点击远程登录 退出解决...原创 2018-10-31 17:08:17 · 2841 阅读 · 0 评论