mzhhy的博客

1业务需求分析         （1）、捕获数据日志或数据库数据信息         （2）、实时分析前当前数据内容         （3）、实时统计当前数据量         （4）、根据业务需求新增统计规划 2、平台组件         hadoop2.8.4         spark2.3.1         hive2.3.3         ka...

一、版本选择         Hadoop2.7.3+Spark2.1.0+Scala2.12.2+jdk1.8 完全分布式环境 搭建全过程二、所有环境和已有环境         已有：Hadoop2.7.3、Zookper、Jdk1.8         所需搭建：Spark、Kafka、Scala三、Scala环境搭建         安装步骤如下：（所有集群节点） ...

概述:         Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 re...

kafka环境搭建目录kafka环境搭建... 1一、机器准备... 1二、下载安装包... 1三、安装zookeeper. 1四、kafka配置... 2五、启动 zookeeper 和 Kafka 服务... 3    一、机器准备         三机互联，ssh免密登陆         192.168.6.181         ...