kafka
关注
分享
扫一扫
我就算饿死也不做程序员
欢迎关注同名公众号："我就算饿死也不做程序员"。
交个朋友，一起交流，一起学习，一起进步。
展开
-
spark+hbase+kafka+zookeeper集群一条龙搭建教程
hadoop集群搭建教程：Hadoop集群搭建教程（一）Hadoop集群搭建教程（二）Spark集群官网下载：spark官网这里要注意spark兼容的hadoop版本接着解压：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz先在你的master节点进行spark的安装和配置，然后直接拷贝到其他节点就可以了。cd /usr/loca/spark/co...原创 2019-07-27 14:36:27 · 1101 阅读 · 0 评论 -
Spark学习笔记（四）：SparkStreaming实现实时计算
SparkStreaming是Spark的一个流式计算框架，它支持对许多数据源进行实时监听，例如Kafka, Flume, Kinesis, or TCP sockets，并实现实时计算的能力，但准确来说应该是伪实时，因为它的基本原理就是定时接收数据流，然后将其转化为许多量小的RDD集合，然后对其进行计算汇总，如下图：SparkStreaming的流式计算其实可以分为很多种类，让我们一步步分开...原创 2019-08-16 21:43:27 · 1307 阅读 · 0 评论