对软件行业的理解

可以用需求、架构、工具和算法四个词对软件行业做一个整体的概括。


需求是推动软件行业发展的源动力，需求的变化带来了架构、工具和算法的进步。


架构这个层面上，主要涉及的是一种解决问题的思想和策略，好的架构的诞生源于对需求和技术的深入了解，但与具体的技术实现联系不是太紧密。


工具是有需求带动的，工具的产生会受到架构的限制，不同的工具一般对某一领域更擅长。


算法的进步依赖于基础学科，是对具体问题的优化处理。


总之，无论是需求、架构、工具，还是算法，很少出现跳跃性的进步和创新，大多是在以前的基础上做改进。



对大数据的理解

大数据的HDFS（分布式文件系统）实际上就是在Linux文件系统之上安照其文件系统的原理又实现了一遍文件系统，并且加入了网络相关内容的处理。这也是为什么理解、熟悉Linux文件系统的实现细节对大数据的学习很有帮助的原因。


如果不考虑每个节点主机的运算能力的话，HDFS管理的就是一个磁盘阵列。加上并行运算技术以后，各个节点主机的运算能力利用起来了，就逐渐演变成了现在的Hadoop。


从以上来看，大数据没有多少新东西，最关键的还是机器学习部分。这才是在大数据领域保持向上发展的决定部分。

 By印臣