![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据框架
Jeff_Scott
Less is more
展开
-
Flink学习总结
本文为学习B站上的Flink入门视频课程的总结,有些重点知识或许在面试中会被问到,故于此分享学习。1.Flink和Storm,Hadoop,Spark的对比?Hadoop是纯粹的批处理框架,storm是纯粹的流处理框架,spark通过基于两种不同的技术实现了批处理和流处理,但是Flink同时支持实现了批处理和流处理,将批处理作为一种特殊的流处理。Storm:延迟低,能做到毫秒级,牺牲了...原创 2019-07-13 20:52:45 · 1208 阅读 · 0 评论 -
Kafka入门笔记
0.本笔记是在学习B站上尚硅谷视频教程的重点笔记,有些可能在面试中问到,故于此记录。1.消息队列内部实现原理消息队列的优点:1)解耦2)冗余3)扩展性4)灵活性,峰值处理5)可恢复性6)顺序保证7)缓冲8)异步通信2.请简单说一下消息队列两种模式的优缺点消息队列有点对点模式(一对一,消费者主动拉取数据,消息收到后消息消除),发布/订阅模式(...原创 2019-07-26 00:50:27 · 157 阅读 · 0 评论 -
大数据整理
Table of Contents0.良心总结1.Hadoop1.0 良心总结1.1 HDFS读写流程1.2 Mapreduced架构及通信1.3 Shuffle过程1.4 YARN架构组成1.5 Hadoop2有哪些改进?1.6 Mapreduce的容错性是怎样实现的?1.7 实操性测试1.8 写数据的时候Datanode怎么知道将数据写到哪?...原创 2019-09-22 11:25:05 · 1290 阅读 · 0 评论 -
Ubuntu下Hadoop搭建
Table of Contents0.环境说明1. Java安装2.Hadoop 安装2.1 新建hd用户2.2伪分布式模式安装2.2.1 移动文件2.2.2 Hadoop配置2.2.3 Hadoop测试2.3 Hadoop集群模式的安装2.3.1 添加环境变量2.3.2 配置环境文件2.3.3 修改主机名2.3.4设置 SS...原创 2019-10-03 12:01:49 · 244 阅读 · 0 评论