spark
上善若水211
微信小程序:趣味藏头诗
展开
-
spark概述
spark下载安装 版本:spark-2.2.0-bin-2.6.0-cdh5.7.0 下载:下载源代码、编译 解压 配置环境变量:vi ~/.bash_profile spark Streaming 流处理框架,将上一次计算的出参作为下一次计算的入参 接受不同数据源的数据 spark Streaming 进行处理后 进行存储 特点原创 2017-12-14 11:10:36 · 241 阅读 · 0 评论 -
flume-Spark整合-push方式
第一种sparkStreaming 整合Flume flume采用 netcat-memory-avro架构 本地测试 1:本地启动sprakStreaming服务,(0.0.0.0 10000) 2. 服务器中启动flume agent 3. telnet往端口中输入数据,观察本地idea控制台输出数据原创 2017-12-14 11:17:50 · 519 阅读 · 0 评论 -
Spark-Flume整合--Pull
第二种sparkStreaming 整合Flume flume采用 netcat-memory-customer sink架构 本地测试 1:本地启动sprakStreaming服务,(192.168.145.128 10000) 2. 服务器中启动flume agent 3. telnet往端口中输入数据,观察本原创 2017-12-14 11:20:42 · 305 阅读 · 0 评论