【大数据之路2】分布式文件系统 HDFS

1. 引入HDFS【面试点】

问题一：如果一个文件中有 10 个数值，一行一个，并且都可以用 int 来度量。现在求 10 个数值的和

思路：

1. 逐行读取文件的内容
2. 把读取到的内容转换成 int 类型
3. 把转换后的数据进行相加
4. 输出最后的一个累加和

---

问题二：10000 个文件，每个文件 2T，文件里的内容依然是每行一个数值，求这一堆文件的所有数值的和

思路与方案：

• 使用单进程的程序执行，即一行一行读取（串行），可能会计算出结果，但效率很低，且大概率是算不出来
• 将串行改为并行，即分布式运算：
  • 第一阶段：先把大的任务切分成小的任务，然后将集群中的每个节点都可以对这些小任务进行计算
  • 第二阶段：将之前中间性的结果进行汇总

---

问题三：问题二中的 10000 个 2T 的文件应该怎么分布才能让这 10000 个任务的执行效率达到最高？

思路：

• 如果集群有 10000 个节点，每个节点都放了一个文件，然后对每个节点上的数据启动计算引擎进行任务的计算，这样效率高
• 计算在 A 节点，存储的数据在 B 节点，这样效率不高；计算和存储