saprk streaming
文章平均质量分 76
幽林孤狼
业精于勤,荒于嬉。
展开
-
flume spark streaming配置详解
Apache Flume是一个用来有效地收集,聚集和移动大量日志数据的分布式的,有效的服务。这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据,我们让flume直接将收集到的数据发送到spark streaming去处理package com.pinganfu.flumesparkimport org.apache.spark.SparkConfimp原创 2015-08-19 17:35:14 · 1187 阅读 · 0 评论 -
如何将spark streaming处理结果保存到关系型数据库中
spark streaming是一个分布式高可靠的准实时处理系统,其数据源可以flume、Hdfs、kafka等,其结果可以保存到关系型数据库,HDFS上。保存到HDFS上相对简单,一句话就可以搞定,但是要保存到关系数据库中,相对比较麻烦,既要链接数据库,又要知道数据字段。我们首先写个wordcount程序测试一下,通过网络发数据到spark streaming发数据程序如下impor原创 2015-08-20 17:45:13 · 4571 阅读 · 2 评论