![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 85
Jhon_yh
这个作者很懒,什么都没留下…
展开
-
Spark-Sql 问题梳理
Spark-Sql 问题梳理Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: test; line 1 pos 14Exception in thread “main” org.apache.spark.sql.AnalysisException: Table or view not found: test; line 1 pos 14Exception in threa原创 2021-05-29 13:44:30 · 406 阅读 · 0 评论 -
Structured Streaming 问题梳理
Structured Streaming 问题梳理10:01:36,603 ERROR org.apache.spark.sql.execution.streaming.StreamMetadata - Error writing stream metadata StreamMetadata(f092ec75-4780-41f2-a21c-1b325d8d8b89) to file:/C:/Users/****/AppData/Local/Temp/temporary-81055e7a-cf1c原创 2021-05-29 10:33:00 · 374 阅读 · 0 评论 -
Spark-Streaming程序问题记录
Spark-Streaming程序问题记录Spark-Streaming程序启动之后没有Spark-SqlSpark-Streaming程序启动之后没有Spark-Sql 1.程序可以正常消费kafka消息,但是spark-sql里面的逻辑没有跑。 2.kill程序之后查看日志,没有异常。 3.只有一条认证的问题,待验证。先记录下来。...原创 2020-11-19 11:22:02 · 63 阅读 · 0 评论 -
SPARK SQL 求助帖
INSERT OVERWRITE TABLE SJZL.DWD_PRD_IDRY_MONTH PARTITION(PROV_ID, MONTH_ID)SELECT LATN_ID, PRVNCE_ID AS STD_PRVNCE_CD, LATN_ID AS STD_LATN_CD, PROD_INST_ID, IDRY_APP...原创 2019-04-16 10:35:54 · 1287 阅读 · 1 评论 -
Spark sql 常见问题及优化
目录数据倾斜1.null值的处理2.持续整理中...数据倾斜1.null值的处理 INSERT OVERWRITE TABLE tf_lte_prd_pd_inst_month PARTITION (month_id) SELECT prvnce_id, std_prvnce_cd ,...FROM ( SELECT '${V_DATE}' month_id ,..., C...原创 2019-03-16 16:33:22 · 3441 阅读 · 1 评论 -
Scala WordCount / Java WordCount
Java WordCountimport org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org....原创 2018-12-19 09:16:57 · 204 阅读 · 0 评论 -
Spark 之环境搭建与任务执行流程
文章目录Spark 环境搭建常用端口号TIPSStandalone环境搭建Spark On YarnSpark 环境搭建常用端口号HDFS: http://node1:50070/HBase: http://node1:60010/master-statusYarn: http://node3:8088/clusterSpark: Master :8088 Worker :8081...原创 2018-12-18 16:38:17 · 407 阅读 · 0 评论 -
Spark 之基本概念及常用算子
Spark基本概念运行模式SparkCoreRDD概念五大特性Q&ALineage概念Spark任务执行流程算子Transformation算子及代码filterflatMapscalajavamapscalajavareduceByKeyScala WordCountJava WordcountsampleAction算子takefirstcollect基本概念官网地址 http:/...原创 2018-12-17 17:38:34 · 511 阅读 · 0 评论 -
Spark Streaming
Spark Streaming基本概念Spark Streaming 与 StormDStream算子TransformationOutput OperationsSpark Streaming WC官网:http://spark.apache.org/基本概念SparkStreaming 是流式处理框架,微批次,准实时,支持可扩展、高吞吐量、容错的实时数据流处理,实时数据的来源可以是:K...原创 2018-12-27 15:59:34 · 109 阅读 · 0 评论 -
Spark 常用算子
Spark 常用算子joinleftOuterJoinunionintersectionsubtractmapPartitionsTipsforeachPartitionTipsdistinctcogroupjoinRDDa<String,String>(k,v).join(RDDb<String,String>(k,w)),相同的key join,作用在(k,v)格式...原创 2018-12-19 18:06:20 · 186 阅读 · 1 评论