- 博客(5)
- 收藏
- 关注
RSS订阅原创 MapReduce工作流程和解析
MapReduce工作流程和解析Mapperreducermapper和reducer之间的工作流程 Mapper mapper以行为单位读取hdfs上的文件 对每一行进行<k,v>解析 将<k,v>写入context中 reducer 从context中拉取一个key对应的value迭代器 对key、value处理，转化成新的key、value输出<k2, v...
2020-05-04 10:22:49
128
原创 hdfs集群执行流程，进程分析
hdfs集群执行流程，进程分析hdfs集群结构副本分片策略rebalance重新平衡策略secondaryNamenode hdfs集群结构 hdfs（Hadoop Distributed File System）是为Hadoop生态环境设计的分布式文件存储系统，由于基于jvm的架构上，所以理论上可以运行在任何支持java的机器上。 hdfs文件系统，核心由namenode和datanode组成，...
2020-05-04 09:53:35
294
原创 spark提交job任务，源码分步骤拆解
spark任务详解流程分步骤拆解详细流程提交任务DAG图创建计算task运行的最佳位置taskset创建taskSet执行 流程 spark客户端提交job 通过反射创建driver进程 driver创建sparkContext对象 初始化sparkContext过程中，构建DAGScheduler和TaskScheduler TaskScheduler根据后台进程去连接Master向Maste...
2020-05-02 12:01:37
217
原创 spark之rdd详解
spark之rdd详解 rdd基本概念 rdd(resilient distributed dataset弹性分布式数据集合),其实就是数据的集合,但由于在大数据的场景下,需要更高的算力,需要更多的存储空间,所以将普通的数据集合进行一定的规划,但是对外仍然像操作普通数据集合一样,这本质上是java的封装思想,和hdfs一样对数据进行封装,底层架构使得数据容错性更强,算力更高,扩容更方便. rdd的...
2020-04-28 22:50:03
413
原创 配置hadoop分布式文件管理系统
配置hadoop分布式文件管理系统hadoop配置 hadoop配置 配置核心文件core-site.xml 需注意tmp文件夹的位置,此处存放的是namenode的相关信息 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://xx...
2020-04-25 18:23:12
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人