ukakasu的博客

HDFS 读流程 filesystem类是一个抽象类，其实现类是distributedfilesystem，打开文件时调用其open方法，DFSclient通过rpc协议获取namenode的代理对象，得到块的信息，返回FSdatainputstream对象，通过其read方法连接到datanode读取数据，数据读取完毕时关闭FSdatainputstream。 写流程 写入文件时调用cr

container数目设置RM的内存资源配置，主要是通过下面的两个参数进行的（这两个值是Yarn平台特性，应在yarn-site.xml中配置好）：yarn.scheduler.minimum-allocation-mbyarn.scheduler.maximum-allocation-mb说明：单个容器可申请的最小与最大内存，应用在运行申请内存时不能超过最大值，小于最小值则分配最小值，从这个角度...