CoderBoom的博客

1. MapReduce并行度机制详解maptask并行度机制 : 逻辑规划 (逻辑切片)时间 : 客户端提交mr程序之前 main(客户端) , job.submit()地点 : 客户端参与者 : 待处理数据目录 FileInputFormat.getSplits()规则 : 对待处理目录下逐个遍历文件 , 以切片大小对文件进行逻辑规划​ split size == bl...

Spark on Yarn1. 官方文档http://spark.apache.org/docs/latest/running-on-yarn.html2. 配置安装1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。2.安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spa...

kafka入门学习笔记1、目标1、掌握kafka相关概念2、掌握搭建一个kafka集群3、掌握kafka生产者和消费者代码开发4、掌握kafka的分区策略5、掌握kafka整合flume6、掌握kafka如何保证消息不丢失2、kafka概述2.1 kafka是什么kafka是由linkedin开源，捐献apache基金会，它是一个实时的分布式消息队列。它提供了一个对于实时...