- 博客(4)
- 收藏
- 关注
RSS订阅原创 Linux下载MySQL
wget https://dev.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz
2021-05-21 10:28:17
86
原创 kafka基础学习笔记
1、 什么是Kafka？ 分布式的基于发布/订阅模式的消息队列 消息队列的两种模式 1、点对点模式 2、发布/订阅模式 分布式流平台 2、 主要作用 异步 消峰 解耦 3、 Kafka基础架构 为了方便扩展，并提高吞吐量，可以把一个topic分成多个partition(分区)； 配合分区的设计，提出消费者组的概念，组内每个消费者并行消费； 为提高可用性，可以为每个partition增加若干副本。 Kafka基础架构图 1.Producer：消息生产者，就是向Kafk
2020-05-26 23:14:45
189
原创 大数据常见面试题
一、什么是序列化和反序列化？为什么要用序列化？Hadoop为什么不用Java的序列化？ 1、序列化和反序列化 序列化：是指将内存中的对象转成字节序列以便存储到硬盘(持久化)或者在网络传输； 反序列化：将字节序列或者磁盘持久化文件转译成内存中的对象； 2、 为什么要序列化？ 一般来说活得对象值存在内存中，关机断电就没了，而“活着”的对象只能由本地进程使用，不能被发送到网络上的另一台计算机。而序列化可以存储“活着”的对象，并发送到远程计算机。 3、为什么Hadoop不用Java的序列化？ Hadoop序
2020-05-22 20:05:28
593
原创 很简单的MapReduce工作流程
MapReduce 1、 MapReduce是一个分布式运算的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 2、MapReduce的核心功能：将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 3、MapReduce优缺点： 优点： 易于编程：简单的实现一个接口，就可以完成一个分布式的程序，这个程序可以分布到大量廉价的PC机器运行； 良好的扩展性能：当计算资源不能满足要求时，可以简单的增加机器来扩展它的运算能力； 高容错率：M
2020-05-22 17:32:34
842
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人