- 博客(4)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Spark 阶段总结 4
1. 概述 本文描述的是spark 学习的第四阶段知识点，主要目的是实现 spark streaming + flume + log4j + mongoDB 的端对端演示，它的基础是 所介绍演示。本文对应的github URL： https://github.com/riverlight/spark-study-1。 2. mongoDB 安装及调用 安装URL：
2016-01-22 22:50:53
744
原创 Spark 阶段总结 3
1. 概述 本文描述的是 spark 学习的第三阶段知识点，主要目的是实现 spark streaming + flume + log4j 以 pull 模式进行实时统计，在 （下文简称）中，实现的是 push 模式。由于大部分工作都比较类似，因此本文主要是介绍差别。 2. 相同点 虚拟机环境、log4jTest都和 完全一样，在此不赘述。 3. Flume
2016-01-22 22:49:45
422
原创 Spark 阶段总结 2
1. 概述 本文描述的是 spark 学习的第二阶段知识点，主要目的是实现 spark streaming + flume + log4j 的实时统计。学习过程中遇到的坑不少，适当做个总结记录，方便以后查阅。 2. 端对端演示介绍 演示环境：cent OS 64bit 的虚拟机环境 流程描述： A. log4jTest 输出产生 log4j.log 文件； B. Fl
2016-01-20 23:22:22
614
原创 Spark 阶段总结 1
1. 概述 本文描述的是 spark 学习的第一阶段知识点，包括spark 下载安装、IDE 下载与编译，以及spark 程序在虚拟机环境中的部署与运行。 2. 安装准备 下载安装spark 之前，需要在虚拟机中先安装配置好 HADOOP，具体安装HADOOP 的方法，可参考下面的链接。 参考链接 HADOOP 安装： http://www.iteye.com
2016-01-20 23:20:42
614
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人