大数据spark
heavylgf
这个作者很懒,什么都没留下…
展开
-
Flume+Kafka+Spark-Streaming的实时流式处理完整流程
基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程1、环境准备,四台测试服务器spark集群三台,spark1,spark2,spark3kafka集群三台,spark1,spark2,spark3zookeeper集群三台,spark1,spark2,spark3日志接收服务器, spark1日志收集服务器,Redis (这台机器用来做redis开发的,现在用来做日志原创 2016-11-08 10:06:14 · 1986 阅读 · 0 评论 -
centos中spark1.3.1环境搭建
一、Java安装 1、安装包准备: 首先到官网下载jdk,http://www.oracle.com/technetwork/java/javase/downloads /jdk7-downloads-1880260.html,我下载jdk-7u79-linux-x64.tar.gz,下载到主目录 2、解压安装包 通过终端在/usr/local目录下新建java文件夹,命令行: sudo原创 2016-07-06 14:32:57 · 408 阅读 · 0 评论 -
SparkSQL内置函数
Spark SQL , Spark原创 2016-11-23 13:58:32 · 10460 阅读 · 0 评论 -
大数据,hadoop,spark,hive,ZooKeeper,kafka,flume等组件环境搭建
大数据环境搭建1、Virtual Box 4.1 2、CentOS 6.5 3、JDK 1.7 4、SecureCRT(自己下载) 5、WinSCP(自己下载) 6、Hadoop 2.4.1 7、Hive 0.13 8、ZooKeeper 3.4.5 9、kafka_2.9.2-0.8.1 10、Spark 1.3.0 11、Spark 1.5 12、flume-ng-1.5.原创 2017-03-30 18:20:20 · 6639 阅读 · 0 评论 -
CDH5.11.1 升级spark2.x
环境介绍:在我的CDH5.11.1的集群中,默认已经安装的spark是1.6版本,这里需要将其升级为spark2.1版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本,均告成功。这里做一下安装spark2.1版本的步骤记录。...原创 2018-03-14 14:10:46 · 890 阅读 · 2 评论