- 博客(4)
- 资源 (3)
- 收藏
- 关注
原创 Spark 阶段总结 4
1. 概述 本文描述的是spark 学习的第四阶段知识点,主要目的是实现 spark streaming + flume + log4j + mongoDB 的端对端演示,它的基础是 所介绍演示。本文对应的github URL: https://github.com/riverlight/spark-study-1。 2. mongoDB 安装及调用 安装URL:
2016-01-22 22:50:53 772
原创 Spark 阶段总结 3
1. 概述 本文描述的是 spark 学习的第三阶段知识点,主要目的是实现 spark streaming + flume + log4j 以 pull 模式进行实时统计,在 (下文简称)中,实现的是 push 模式。由于大部分工作都比较类似,因此本文主要是介绍差别。 2. 相同点 虚拟机环境、log4jTest都和 完全一样,在此不赘述。 3. Flume
2016-01-22 22:49:45 442
原创 Spark 阶段总结 2
1. 概述 本文描述的是 spark 学习的第二阶段知识点,主要目的是实现 spark streaming + flume + log4j 的实时统计。学习过程中遇到的坑不少,适当做个总结记录,方便以后查阅。 2. 端对端演示介绍 演示环境:cent OS 64bit 的虚拟机环境 流程描述: A. log4jTest 输出产生 log4j.log 文件; B. Fl
2016-01-20 23:22:22 637
原创 Spark 阶段总结 1
1. 概述 本文描述的是 spark 学习的第一阶段知识点,包括spark 下载安装、IDE 下载与编译,以及spark 程序在虚拟机环境中的部署与运行。 2. 安装准备 下载安装spark 之前,需要在虚拟机中先安装配置好 HADOOP,具体安装HADOOP 的方法,可参考下面的链接。 参考链接 HADOOP 安装: http://www.iteye.com
2016-01-20 23:20:42 628
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人