![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Oooover
喜欢Linux、Python,Spark,数据挖掘,分布式计算,流式计算
展开
-
spark的action和transformations汇集
汇集了spark所支持的Transformation和Action原创 2014-11-09 15:10:26 · 1013 阅读 · 0 评论 -
Spark SQL将数据写入Mysql表的一些坑
Spark SQL将数据写入Mysql表的一些坑原创 2016-10-18 13:36:56 · 42159 阅读 · 10 评论 -
Spark on yarn 报错: Permission denied
Spark on yarn 报错: Permission denied原创 2016-11-04 16:56:43 · 6040 阅读 · 1 评论 -
Spark取出(Key,Value)型数据中Value值为前n条数据
Spark对(Key,Value)型数据进行排序,并取出Value值为前n的数据原创 2016-09-26 15:33:18 · 15736 阅读 · 3 评论 -
Spark中sortByKey和sortBy对(key,value)数据分别 根据key和value排序
Spark中sortByKey和sortBy对(key,value)数据分别 根据key和value排序原创 2016-09-23 10:30:00 · 32838 阅读 · 6 评论 -
Spark On CDH5.6.0 报错java.lang.ArrayIndexOutOfBoundsException: 1
Spark On CDH5.6.0 报错java.lang.ArrayIndexOutOfBoundsException: 1 问题的解决过程分享原创 2016-09-14 14:57:16 · 11426 阅读 · 0 评论 -
Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor
Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor原创 2016-01-07 14:08:09 · 13644 阅读 · 1 评论 -
Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法
Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法原创 2016-01-06 18:16:50 · 2517 阅读 · 0 评论 -
Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker
Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker原创 2016-01-04 17:48:20 · 8763 阅读 · 2 评论 -
Spark 提交任务时,报: Invalid signature file digest for Manifest main attributes
Spark 提交任务时,报: Invalid signature file digest for Manifest main attributes原创 2015-11-28 19:26:22 · 22918 阅读 · 6 评论 -
Spark on yarn Container beyond virtual memory limits
Spark on yarn Container beyond virtual memory limits原创 2015-09-30 15:21:35 · 4116 阅读 · 0 评论 -
Spark 集群搭建详细步骤
Hadoop 和 Spark 集群搭建详细步骤原创 2015-07-20 11:52:54 · 31770 阅读 · 2 评论 -
Hadoop搭建的一些注意事项及解决方法
Hadoop搭建的一些注意事项及解决方法原创 2015-06-17 17:20:55 · 843 阅读 · 0 评论 -
Spark Streaming 报错:NoSuchMethodError: scala.Predef$.ArrowAssoc
Spark Streaming 报错:NoSuchMethodError: scala.Predef$.ArrowAssoc 的解决办法及思路原创 2015-05-27 09:49:57 · 14102 阅读 · 1 评论 -
Idea 编写 Spark 示例代码并打包成Jar
Linux下单机Spark测试环境使用IDEA编写Spark测试代码配置过程bin/spark-submit --master spark://macor:7077 --class ge原创 2015-01-10 22:32:36 · 19798 阅读 · 4 评论 -
Spark 启动历史任务记录进程,报错 Logging directory must be specified解决
Spark 启动历史任务记录进程,报错 Logging directory must be specified解决原创 2015-01-07 21:28:17 · 9140 阅读 · 0 评论 -
Spark Executor 报错 java.lang.StackOverflowError
Spark Executor 报错 java.lang.StackOverflowError原创 2017-06-22 17:51:30 · 7839 阅读 · 0 评论