- 博客(6)
- 资源 (3)
- 收藏
- 关注
原创 第89讲:Spark Streaming on Kafka解析和安装实战
本课分2部分讲解: 第一部分,讲解Kafka的概念、架构和用例场景; 第二部分,讲解Kafka的安装和实战。 由于时间关系,今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成Spark Streaming和Kafka。 一、Kafka的概念、架构和用例场景 http://kafka.apache.org/documentation
2016-04-26 15:03:51 1866
原创 第86讲:SparkStreaming数据源Flume实际案例分享
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版
2016-04-26 15:02:12 2003
原创 第85讲:基于HDFS的SparkStreaming案例实战和内幕源码解密
一:Spark集群开发环境准备 启动HDFS,如下图所示: 通过web端查看节点正常启动,如下图所示: 2.启动Spark集群,如下图所示: 通过web端查看集群启动正常,如下图所示: 3.启动start-history-server.sh,如下图所示: 二:HDFS的SparkStreaming案例实战(代码部分)
2016-04-26 15:01:27 2597
原创 第84讲:StreamingContext、DStream、Receiver深度剖析
本课分成四部分讲解,第一部分对StreamingContext功能及源码剖析;第二部分对DStream功能及源码剖析;第三部分对Receiver功能及源码剖析;最后一部分将StreamingContext、DStream、Receiver结合起来分析其流程。 一、StreamingContext功能及源码剖析: 1、 通过Spark Streaming对象jssc,创建应用程序主入口
2016-04-26 14:59:38 1788
原创 第83讲:Scala和Java二种方式实战Spark Streaming开发
一、Java方式开发 1、开发前准备:假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程,需要添加Spark Streaming依赖。 3、Spark streaming 基于Spark Core进行计算,需要注意事项: 设置本地master,如果指定local的话,必须配置至少二条线程,也可通过sparkconf来设置,因为Spark
2016-04-26 14:58:15 3120
原创 第87讲:Flume推送数据到SparkStreaming案例实战和内幕源码解密
本期内容: 1. Flume on HDFS案例回顾 2. Flume推送数据到Spark Streaming实战 3. 原理绘图剖析 1. Flume on HDFS案例回顾 上节课要求大家自己安装配置Flume,并且测试数据的传输。我昨天是要求传送的HDFS上。 文件配置: ~/.bashrc: export FLUME_HOME=/usr/lo
2016-04-26 14:54:55 1173
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人