- 博客(13)
- 收藏
- 关注
RSS订阅原创 入坑Flink - Flink on Yarn提交任务异常
入坑Flink - Flink on Yarn提交任务异常在通过 flink run -m yarn-cluster 提交任务过程中任务一直created查看jobManager日志发现jar包冲突2021-01-25 16:43:51,735 INFO org.apache.flink.yarn.YarnResourceManager - Request slot with profile ResourceProfile{UNKNOWN} for job
2021-01-25 17:53:00
1824
原创 SparkStreaming 对接Kafka手动提交偏移量异常
场景：应业务需求，需使用SparkStreaming 一分钟一批次消费Kafka数据，消费2批次后出现提交偏移量异常提交代码如下 dataRDD.foreachRDD(rdd=>{ val offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges //业务统计 //.... dataRDD.asInstanceOf[CanCommitOffse
2020-06-23 11:36:01
2085
原创 SparkSQL的几种输出格式及压缩方式
1、json默认不压缩可用压缩格式：none, bzip2, gzip, lz4,snappy ,deflate2、parquet默认压缩格式：snappy可用压缩格式：none, snappy, gzip, lzoval PARQUET_COMPRESSION = buildConf("spark.sql.parquet.compression.codec") .doc("...
2019-10-11 18:32:57
5755
1
原创 入坑Flink - Flink On YARN
将flink脚本提交到Yarn集群有2种方式1、Start a long-running Flink cluster on YARN1、启动FlinkCluster：./bin/yarn-session.sh -jm 1024m -tm 4096m2、提交flink程序到FlinkCluster./bin/flink run ./examples/batch/WordCount.jar ...
2019-09-29 16:38:42
239
1
原创 入坑Flink - Flink安装部署(单机模式)
1、Flink单机模式1、将编译后的包拷贝到安装目录cp -r flink-dist/target/flink-1.8.2-bin/flink-1.8.2/ /opt/platform/2、改变文件所属chown -R dc:dc flink-1.8.23、修改默认端口号（conf/flink-conf.yaml ）# The RPC port where the JobManag...
2019-09-29 16:01:03
3420
1
原创 入坑Flink - Flink源码编译
准备工作参考官网：https://ci.apache.org/projects/flink/flink-docs-release-1.8/flinkDev/building.html1、jdkjava version "1.8.0_171"Java(TM) SE Runtime Environment (build 1.8.0_171-b11)Java HotSpot(TM) 64-B...
2019-09-20 22:09:50
2240
4
原创 SparkStreaming对接Redis导致redis连接数不断上升
redis连接数出现原因：在partition中通过新建对象创建redis连接池！使用完后，未彻底关闭连接池，导致随着批次增加，redis连接数也不断增加。解决办法：手动调用close或destroy()def destroyPool(): Unit ={ if(pool != null){ pool.close() } }...
2019-09-20 11:14:27
918
原创 Scala Map获取value的区别
scala中通过get获取值，如果key不存在则返回none;不通过get取值，如果key不存在则会报异常。 val allMap = Map("a" -> "A","b" -> "B")使用get取值 val res = allMap.get("c") println(res)None使用语法糖 val res = allMap("c") println(re...
2019-09-07 11:55:26
1829
原创 NoClassDefFoundError: org/apache/flink/runtime/state/StateBackend
jar包冲突引起的… …Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/runtime/state/StateBackend at org.apache.flink.streaming.api.scala.StreamExecutionEnvironment$.getExecutionEnv...
2019-09-04 16:42:39
4371
原创 MySQL分组取最新
源数据日期 (thedate)编号 (id)名称 (name)2019-08-2710001storm2019-08-2710002flink2019-08-2710003spark2019-08-2710004flume2019-08-2710005zookeeper2019-08-2710006kafka201...
2019-08-29 17:34:30
204
1
转载 JAVA和SCALA集合间的相互转换
在scala中，调用一个java的方法，通常需要传递相应的参数。下面是scala与java互转换对应表Iterator <=> java.util.IteratorIterator <=> java.util.EnumerationIterable <=> java.lang.IterableIterable <=> java.util.Co...
2019-04-28 18:40:59
1163
原创 SparkSQL中常见函数
SparkSql中的两种替换函数1、regexp_replace(str,“abc”,“b”)将str中的abc替换成bregexp_replace("2.10.100.103.3","2.10.100.103.","") 结果：3regexp_replace("2.10.100.103.2","10","4")结果：2.4.40.43.22、translate(“str”,“a...
2019-03-29 14:43:25
6315
原创 Failing this attempt.Diagnostics: [2019-03-28 15:05:27.576]File does not exist:
在搬砖过程，出现了一个很奇怪的现象，程序虽然报错了，但是有正常的数据输出。Application application_1547711386718_69741 failed 2 times due to AM Container for appattempt_1547711386718_69741_000002 exited with exitCode: -1000Failing this ...
2019-03-28 15:26:32
4045
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人