大数据
何亮-1108
一个流媒体/图像/视频/视觉行业技术老兵(撸代码的)
展开
-
Spark 阶段总结 1
1. 概述本文描述的是 spark 学习的第一阶段知识点,包括spark 下载安装、IDE 下载与编译,以及spark 程序在虚拟机环境中的部署与运行。 2. 安装准备下载安装spark 之前,需要在虚拟机中先安装配置好 HADOOP,具体安装HADOOP 的方法,可参考下面的链接。 参考链接HADOOP 安装: http://www.iteye.com原创 2016-01-20 23:20:42 · 628 阅读 · 0 评论 -
Spark 阶段总结 2
1. 概述本文描述的是 spark 学习的第二阶段知识点,主要目的是实现 spark streaming + flume + log4j 的实时统计。学习过程中遇到的坑不少,适当做个总结记录,方便以后查阅。 2. 端对端演示介绍演示环境:cent OS 64bit 的虚拟机环境流程描述:A. log4jTest 输出产生 log4j.log 文件;B. Fl原创 2016-01-20 23:22:22 · 638 阅读 · 0 评论 -
Spark 阶段总结 3
1. 概述本文描述的是 spark 学习的第三阶段知识点,主要目的是实现 spark streaming + flume + log4j 以 pull 模式进行实时统计,在 (下文简称)中,实现的是 push 模式。由于大部分工作都比较类似,因此本文主要是介绍差别。 2. 相同点虚拟机环境、log4jTest都和 完全一样,在此不赘述。 3. Flume原创 2016-01-22 22:49:45 · 442 阅读 · 0 评论 -
Spark 阶段总结 4
1. 概述本文描述的是spark 学习的第四阶段知识点,主要目的是实现 spark streaming + flume + log4j + mongoDB 的端对端演示,它的基础是 所介绍演示。本文对应的github URL:https://github.com/riverlight/spark-study-1。 2. mongoDB 安装及调用安装URL:原创 2016-01-22 22:50:53 · 772 阅读 · 0 评论 -
rhadoop 安装要点
1. 先执行 yum 把 c++ 编译环境相关的组件装好yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel lib-devel python-devel ruby-devel2. 按照下面链接的顺序进行rhadoop组件的安装https://github.com原创 2016-04-08 18:32:28 · 644 阅读 · 0 评论 -
sparkR read json file error
刚接触 sparkR,发现在集群中读取 json 文件有问题:> people 16/04/22 10:48:44 ERROR r.RBackendHandler: loadDF on org.apache.spark.sql.api.r.SQLUtils failedError in invokeJava(isStatic = TRUE, className, methodN原创 2016-04-22 11:04:00 · 1098 阅读 · 0 评论