传统计算方案演变
1、单机并行运算
1,打开数据源
2,统计出有多少个文件。
3,为每个文件执行相同的统计命令
4,等待所有命令执行成功。
5,合并统计后结果输出或执行进一步统计
2、分布式并行运算
1,打开数据源(分布式存储或公共路径)
2,统计出有多少个文件,为每台机器分配响应的统计任务
3,每个任务执行相同的运算,并将结果返回到中心机汇总
4,合并统计后结果输出或执行进一步统计
传统计算方案演变
1、单机并行运算
1,打开数据源
2,统计出有多少个文件。
3,为每个文件执行相同的统计命令
4,等待所有命令执行成功。
5,合并统计后结果输出或执行进一步统计
2、分布式并行运算
1,打开数据源(分布式存储或公共路径)
2,统计出有多少个文件,为每台机器分配响应的统计任务
3,每个任务执行相同的运算,并将结果返回到中心机汇总
4,合并统计后结果输出或执行进一步统计