- 博客(5)
- 收藏
- 关注
原创 flume
大数据技术之Flume版本:V2.0第1章 概述1.1 Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。1.2 Flume组成架构Flume组成架构如图1-1,图1-2所示:图1-1 Flume组成架构图1-2 Flume组成架构详解下面我们来详细介绍一下Flume架构中的组件。1...
2020-04-13 07:46:51
231
原创 kafka
大数据技术之Kafka第1章 Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。1.2 消息队列(Message Queue)1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出...
2020-04-13 07:41:37
161
原创 2020-03-23
商数仓第1章 数仓分层概念1.1 为什么要分层1.2 数仓分层1.3 数据集市与数据仓库概念1.4 数仓命名规范Ø ODS层命名为odsØ DWD层命名为dwdØ DWS层命名为dwsØ ADS层命名为adsØ 临时表数据库命名为xxx_tmpØ 备份数据数据库命名为xxx_bak第2章 数仓搭建环境准备集群规划服务器hadoop102服务器hadoop103服务器...
2020-03-23 16:41:31
540
原创 大数据
、文档:文档1.note链接:http://note.youdao.com/noteshare?id=f8b31ded3a270c0d589b00ca0eda2c3b&sub=8D74A2AB984742FDB68C741867AB13BB文档:文档2.note链接:http://note.youdao.com/noteshare?id=1f7b5753cc3fdeb93ecb1f6...
2020-03-23 08:01:58
240
原创 CenterOS7安装mysql yum 安装
由于之前用的是centos6 版本安装mysql 使用yum 安装没有任何问题,但是由于最近公司使用centos7 安装使用之前的yum 安装出现问题。 下面是安装步骤: 在CentOS中默认安装有MariaDB,这个是MySQL的分支,但为了需要,还是要在系统中安装MySQL,而且安装完成之后可以直接覆盖掉MariaDB。1 下载并安装MySQL官方的 Yum Re...
2019-08-25 12:54:28
372
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人