- 博客(2)
- 收藏
- 关注
RSS订阅原创 大数据之-Flume
**大数据之Flume**1.Flume概述1.1 Flume的定义Flume是一个高可用、高可靠的，分布式的海量日志采集、聚合和传输系统。Flume基于六十框架，灵活简单。Flume主要作用：1.2 Flume基础框架Flume组成结构：1.2.1 AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的地。Agent主要有3个组成部分，Source、Channel、Sink。1.2.2 S...
2020-09-09 14:11:37
182
原创 大数据-Spark常见面试题
Spark常见面试题1、什么是宽依赖，什么是窄依赖？哪些算子是宽依赖，哪些是窄依赖？窄依赖就是一个父RDD分区对应一个子RDD分区，如map，filter或者多个父RDD分区对应一个子RDD分区，如co-partioned join宽依赖是一个父RDD分区对应非全部的子RDD分区，如groupByKey，ruduceByKey或者一个父RDD分区对应全部的子RDD分区，如未经协同划分的joinhttps://www.jianshu.com/p/736a4e628f0f2、Transformat
2020-08-20 19:33:11
665
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人