- 博客(5)
- 收藏
- 关注
RSS订阅原创 线程池工作原理
线程池概念四种常见的线程池线程池的返回值ExecutorService：ExecutorService是Java提供的用于管理线程池的类。该类的两个作用：控制线程数量和重用线程Executors.newCacheThreadPool()：Executors.newFixedThreadPool(int n)Executors.newScheduledThreadPool(int n)Executors.newSingleThreadExecutor()：缓冲队列BlockingQueue
2022-01-25 09:24:12
65
原创 HDFS读写机制
NameNode功能：完全基于内容存储文件元素据、目录结构、文件block的映射需要持久化方案保证数据可靠性提供副本放置策略DataNode功能：基于本地磁盘存储block(文件的形式)并保存block的校验和数据保证block的可靠性与NameNode保持心跳，汇报block列表状态元数据持久化任何对文件系统元数据产生修改的操作，NameNode都会使用一种称为EditLog的事务日志记录下来使用FsImage存储内存所有的元数据状态使用本地磁盘保存EditLog和FsIm
2022-01-20 09:43:28
296
原创 MapReduce工作原理
**MapReduce运行流程1.在客户端启动一个作业2.向JobTracker请求一个Job ID3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都存放在JobTracker专门为该作业创建的文件夹中。文件夹名为该作业的Job ID。JAR文件默认会有10个副本（mapred.submit.replication属性控制）；输入划分信息告诉了JobTracker应该为这个作业启动多少个map任务等信息**
2022-01-20 09:37:20
1166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人