![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
在编攻城狮
在编攻城狮
展开
-
Windows下Kafka集群环境搭建及代码验证
导读一、背景二、分析三、步骤四、验证五、总结六、参考 一、背景 kafka应用场景很多,比如:日志收集、消息系统、大数据流式处理等; 项目中刚好需要消息中间件、Spark流式处理,所以非常有必要深入了解下kafka原理与运行机制; 二、分析 先搞清楚Kafka的部署结构(物理结构):kafka由Kafka中间件(独立安装部署)、生产者、消费者三部分组成; Kafka中间件支持集群安装部署,生...原创 2019-10-30 15:01:36 · 908 阅读 · 1 评论 -
Windows 10下搭建Hadoop 3.x环境
目录一、背景二、计划三、步骤四、总结五、参考 一、背景 后续业务可能涉及大数据,虽说Hadoop权威指南书看了大半,但是后续比较多的代码示例,如果不自己亲手搭下环境,就没法去深入理解这些原理和经验,直白点就是看不懂咯; 之前其实有搭过CDH环境,但是觉得这样对Hadoop了解不够深入,所以刚好借此机会先把Hadoop的原理和机制搞清楚。 二、计划 之前的CDH集群是在个人MacPro中虚拟出...原创 2019-10-24 10:21:44 · 1761 阅读 · 0 评论