- 博客(3)
- 收藏
- 关注
RSS订阅原创 《Docker开发指南》勘误（停更：第9章）
阅读《Docker开发指南》的过程中，发现了一些些错误，有可能是代码格式引起，有可能是翻译过程中引起，都会对阅读和试验产生一定的影响，在这里做一个记录和总结。勘误1大约在P63，“说声Hello World”一节中。FROM python:3.4RUN pip install Flask==0.10.1 uwsgi==2.0.9WORKDIR /appCOPY app /appC...
2018-09-18 11:37:37
363
1
原创 MapReduce工作机制（三、Reduce端流程）
shuffle阶段Reduce Task从各个Map Task上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写在磁盘上，否则放在内存中。Merge阶段在远程拷贝数据的同时，Reduce Task启动了两个后台线程对内存和磁盘上的文件进行合并，防止内存使用过多或磁盘上文件过多Sort阶段将key相同的数据聚集在一起，由于各个Map Task已经实...
2018-09-11 15:29:20
321
原创 TaskTracker内部实现机制
TaskTracker概述TaskTracker功能执行命令从JobTracker端接收并执行各种命令，如运行任务，杀死任务，提交任务 为了防止任务之间干扰，TaskTracker会为每个任务启动一个单独的JVM，并由专门的线程监控其资源使用情况，一旦发现超量使用资源就直接将其杀掉汇报心跳将本节点的各个任务状态通过周期性心跳汇报给JobTracker 包括机器级别信息...
2018-09-10 17:26:00
618
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人