spark
不要海带和香菜
这个作者很懒,什么都没留下…
展开
-
spark2读取mysql数据,将数据写入mysql
package cn.spark.test01;import java.util.Properties;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.DataFrameReader;import org.a...原创 2019-10-23 14:27:18 · 674 阅读 · 0 评论 -
java使用spark2开发本地测试的wordCount程序
package cn.spark.study.core;import java.util.Arrays;import java.util.HashMap;import java.util.Iterator;import java.util.Map;import org.apache.spark.SparkConf;import org.apache.spark.api.java....原创 2018-10-17 11:18:05 · 1186 阅读 · 1 评论 -
spark2的transformation和action操作
spark支持两种RDD操作:transformation和action操作。transformation操作会针对已有RDD创建一个新的RDD,而action则对RDD进行最后的操作,如遍历、保存到文件等,并将结果返回到Driver程序。transformation有lazy特性:若一个spark程序只定义了transformation操作,即使执行了该程序,那些操作也不会执行。ac...原创 2018-10-17 14:21:21 · 472 阅读 · 0 评论 -
启动spark任务报错:ERROR SparkUI: Failed to bind SparkUI
当启动一个spark任务的时候,就会占用一个端口,默认为4040,从日志可以看到当端口被占用时,它会默认依次增加16次到4056,如果还是失败的话,就会报错退出。解决方法:1. 使用spark-submit提交任务时,在脚本中加配置:--conf spark.port.maxRetries=128(亲测有效)2. 在代码中初始化SparkConf时,设置conf.se...原创 2018-10-25 11:58:27 · 4076 阅读 · 0 评论