![](https://img-blog.csdnimg.cn/2019091813595558.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据框架核心原理
常用大数据框架原理分析
小王是个弟弟
个人博客 https://uhope.fun
展开
-
Hadoop 核心原理(贼全面)
hadoop原来可以以这么简单的方式学习核心原理原创 2020-08-24 20:36:40 · 13574 阅读 · 10 评论 -
Hive 核心原理(hive-3.1.2)
全面分析与传统数据库在设计理念、基本使用等方面的相同点和不同点。hive有这一篇差不多就够了原创 2020-08-29 19:40:13 · 9349 阅读 · 11 评论 -
HBase核心原理
HBase的学习笔记从集群搭建到理论知识,从理论知识到框架原理,从框架原理到项目实战深入源码解析原理原创 2020-06-25 16:08:41 · 2818 阅读 · 3 评论 -
Kafka 核心原理(贼全面)
一、Kafka 概述1.1 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域,处于大数据数据传输层,属于消息中间件。如AB两个系统需要通信,但并不是直连中间通过消息中间件,还可以实现解耦。1.2 消息队列1.2.1 传统消息队列的应用场景(1)同步处理 整个线程串行,并不高效(2)异步处理 请求数据写入MQ,并返回响应结果,可以做到解耦,等系统上线时去MQ取数据;还可以缓解服务端的压力(削峰)(3)使用消息队列原创 2020-08-03 21:38:01 · 1087 阅读 · 0 评论 -
Sqoop 使用手册(即用即查)
sqoop使用手册,mysql和hdfs、hive、hbase相互传输原创 2020-09-15 11:33:51 · 490 阅读 · 0 评论 -
Flume原理详解
Flume处在大数据框架中的数据传输层,主要解决数据从其他服务器传输到大数据集群的问题一、Flume概述1.1 Flume定义 Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume基于流式框架,灵活简单。目前移交给Apache维护——Flume官网。 官网明确说了Flume的工作对象是log data,所有不能传输视频、图片等二进制文件。Flume在生产环境中的数据更多来源于java后台日志数据或者爬虫数据,它们大多是在本地文件系统且一般.原创 2020-07-11 16:42:34 · 1188 阅读 · 0 评论