spark
文章平均质量分 77
svmachine
这个作者很懒,什么都没留下…
展开
-
spark环境搭建及简单程序使用
该文章是在hadoop环境搭建好的基础上进行的,主要是针对搭建过程中自己遇到的一些小问题。关于hadoop的搭建详见:http://blog.csdn.net/svmachine/article/details/51334188一 环境 hadoop:hadoop2.6.0 spark:spark1.6.1 scala:scala2.11.8 jar:spark-assembly-1.6.1原创 2016-05-31 12:32:26 · 1677 阅读 · 0 评论 -
zookeeper+kafka安装以及kafka+spark streaming 的简单整合
一.zookeeper的安装 下载zookeeperhttp://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/下载3.4.6版本 安装配置(前面安装过hadoop以及spark,安装在原来的位置)将zookeeper-3.4.6解压到/home/wh/目录下,并改名为zookeeper tar -zxvf zookeeper-3.4.6.t原创 2016-06-13 21:58:06 · 4680 阅读 · 0 评论 -
使用Spark Streaming处理爬取的数据(问题总结)
一 .背景 使用java爬取所需的数据,使用spark streaming处理数据后,存入数据库(用的mysql,但不推荐,有很大的后遗症),使用web重新展示出来。二 .代码 1.原先的想法与实现 数据库连接池的定义(时间自定义) package org.com.wh;import org.apache.commons.dbcp.BasicDataSource; impor原创 2016-08-13 18:05:23 · 4889 阅读 · 1 评论