- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 第89讲：Spark Streaming on Kafka解析和安装实战
本课分2部分讲解： 第一部分，讲解Kafka的概念、架构和用例场景； 第二部分，讲解Kafka的安装和实战。 由于时间关系，今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成Spark Streaming和Kafka。 一、Kafka的概念、架构和用例场景 http://kafka.apache.org/documentation
2016-04-26 15:03:51
1811
原创 第86讲：SparkStreaming数据源Flume实际案例分享
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版
2016-04-26 15:02:12
1950
原创 第85讲：基于HDFS的SparkStreaming案例实战和内幕源码解密
一：Spark集群开发环境准备 启动HDFS，如下图所示： 通过web端查看节点正常启动，如下图所示： 2.启动Spark集群，如下图所示： 通过web端查看集群启动正常，如下图所示： 3.启动start-history-server.sh，如下图所示： 二：HDFS的SparkStreaming案例实战（代码部分）
2016-04-26 15:01:27
2544
原创 第84讲：StreamingContext、DStream、Receiver深度剖析
本课分成四部分讲解，第一部分对StreamingContext功能及源码剖析；第二部分对DStream功能及源码剖析；第三部分对Receiver功能及源码剖析；最后一部分将StreamingContext、DStream、Receiver结合起来分析其流程。 一、StreamingContext功能及源码剖析： 1、 通过Spark Streaming对象jssc，创建应用程序主入口
2016-04-26 14:59:38
1716
原创 第83讲：Scala和Java二种方式实战Spark Streaming开发
一、Java方式开发 1、开发前准备：假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。 3、Spark streaming 基于Spark Core进行计算，需要注意事项： 设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark
2016-04-26 14:58:15
3063
原创 第87讲：Flume推送数据到SparkStreaming案例实战和内幕源码解密
本期内容： 1. Flume on HDFS案例回顾 2. Flume推送数据到Spark Streaming实战 3. 原理绘图剖析 1. Flume on HDFS案例回顾 上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。 文件配置： ~/.bashrc: export FLUME_HOME=/usr/lo
2016-04-26 14:54:55
1161
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人