![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
学习笔记cmj
学习笔记
展开
-
spark HA遇到的坑
集群的结构:node1 Master zknode2 Master zknode3 Workernode4 Workernode5 Worker本人在搭建HA步骤如下(这里的JDK,ZK 安装省略,只说sparkHA 安装)安装配置Spark,修改Spark配置文件(两个配置文件spark-env.sh和slaves)vim spark-env...原创 2020-04-22 01:56:50 · 5763 阅读 · 11 评论 -
repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int,shuffle:Boolean=false):RDD[T]的区别
转载自https://blog.csdn.net/u011981433/article/details/50035851转载 2018-06-19 11:00:27 · 254 阅读 · 0 评论 -
spark1.6支持 hdfs2.6.4 HA
打包时:记得把core-site.xml和hdfs-site.xml文件打进去测试命令:bin/spark-submit--class spark_api.hive.spark1_6Hive \--master spark://mode1:7077 \--executor-memory 512M \--total-executor-cores 2 \/roo...原创 2019-04-10 13:42:46 · 105 阅读 · 0 评论 -
spark读取不到kafka中的数据,本人踩坑记录
首先确定: 自己的idea开发环境和spark集群的开发环境一致,jdk, scala 版本都一直,而且在idea中测试可以消费到kafka集群中的数据:集群 spark为1.6.1,本地idea也是spark1.6依赖。并且将sparkstream2kafka程序发布到spark集群也是正常运行,但是获取不到kafka中的数据。后来经过自己大量的测试终于找到了答案(百度了好久没有):代码:...原创 2019-04-12 15:26:47 · 4112 阅读 · 1 评论