冰封的专栏

因为工作需要，最近开始接触大数据技术，为了充分了解大数据，准备搭建一个大数据集群。出于对大数据处理流程和需要部署的相关组件的了解，决定跳出一般大数据学习思维，先将集群资源管理组件搭建起来，然后以资源管理组件为基础慢慢填充集群内容，所以搭建Zookeeper作为大数据学习的第一步。一、下载Zookeeper　官网下载地址：http://mirror.bit.edu.cn/apache/zoo...

大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面将逐一对各个环节所需要的技术栈进行讲解：数据采集目前中大型项目通常采用微服务架构进行分布式部署，数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如 Flume 、Logstash、Kib...