spark
文章平均质量分 56
迅讯
这个作者很懒,什么都没留下…
展开
-
spark链接redis报错Too many open files
最近在写spark调用redis的时候总是遇到如下错误:18/03/28 16:36:40 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.IllegalStateException: failed to create a child event loopjava.lang.IllegalStateExcep...原创 2018-04-17 21:04:42 · 1355 阅读 · 0 评论 -
spark streaming + kafka0.10以及kafka的offset管理
最近在将产品的spark版本由1.6升级到2.2版本之后 对应的其他包的版本也要升级,spark-streaming-kafka用的是0-10下面是测试样例亲测可用def main(args: Array[String]): Unit = { val conf = new SparkConf() val ssc = new StreamingContext(conf, Seconds(...原创 2018-04-17 21:24:18 · 2523 阅读 · 0 评论 -
flume + spark-streaming + kafka + hdfs 实时解析日志的一种方式
记录前段时间写的一个实时解析日志应用,本次采用flume对接日志,进入kafka,spark-streaming实时消费kafka里面的数据,然后结果持久化保存在hdfs里面。1、数据采集 数据采集使用的是flume,在这个地方flume采集到日志之后,将会在hdfs保存一份原始日志,同时将日志实时写入kafka的指定topic(例如stream_topic_1)。2、数据解析 数据解...原创 2018-05-08 11:08:15 · 1283 阅读 · 0 评论