spark
学习笔记cmj
学习笔记
展开
-
spark HA遇到的坑
集群的结构: node1 Master zk node2 Master zk node3 Worker node4 Worker node5 Worker 本人在搭建HA步骤如下(这里的JDK,ZK 安装省略,只说sparkHA 安装) 安装配置Spark,修改Spark配置文件(两个配置文件spark-env.sh和slaves) vim spark-env...原创 2020-04-22 01:56:50 · 5774 阅读 · 11 评论 -
repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int,shuffle:Boolean=false):RDD[T]的区别
转载自https://blog.csdn.net/u011981433/article/details/50035851转载 2018-06-19 11:00:27 · 277 阅读 · 0 评论 -
spark1.6支持 hdfs2.6.4 HA
打包时:记得把core-site.xml和hdfs-site.xml文件打进去 测试命令: bin/spark-submit --class spark_api.hive.spark1_6Hive \ --master spark://mode1:7077 \ --executor-memory 512M \ --total-executor-cores 2 \ /roo...原创 2019-04-10 13:42:46 · 131 阅读 · 0 评论 -
spark读取不到kafka中的数据,本人踩坑记录
首先确定: 自己的idea开发环境和spark集群的开发环境一致,jdk, scala 版本都一直,而且在idea中测试可以消费到kafka集群中的数据: 集群 spark为1.6.1,本地idea也是spark1.6依赖。并且将sparkstream2kafka程序发布到spark集群也是正常运行,但是获取不到kafka中的数据。后来经过自己大量的测试终于找到了答案(百度了好久没有): 代码:...原创 2019-04-12 15:26:47 · 4146 阅读 · 1 评论