关于编写基础组件开发的一些思考

       以前主要写的是业务系统，感觉业务系统有很成熟的架构，已经封装了很多功能，只需要在架构基础上书写业务逻辑代码即可，主要用的的技术也就是JPA，业务复杂一些可能会有多线程高并发的知识。

       但是最近向从0开始写一个大数据采集组件，前后借鉴了spring batch, kafka, flume, nifi 等源码，最后还是搞得很被动。今晚静下心来总结一下到底是拿出问题，我暂时觉得主要是两点：一个基础组件需要考虑的场景和可能性太多，不像业务系统一样业务需求相对明确，至少是开发的时候比较明确，但是作为一个基础的技术组件，虽说是完成某一个特定功能，但是需要考虑的场景及可能性真的很多。其次是知识层次不一样，基础组件使用到的知识点不同于业务系统，基础组件最主要的知识点包括：I/O--本地I/O和网络I/O，还有各种数据源的I/O, 例如各种数据库：hbase，hive，mysql，redis; 其次就是核心设计模式，一个基础组件需要大量的设计模式构建。所以我觉得需要从一下几点去提高自己的能力，以去追求自己的技术追求。

1. 操作系统原理：

      为什么有操作系统原理了？曾经有人说创作来源于生活，我绝对对于计算机从业者来说，所有的编程思想都可以在操作系统中找到。熟悉操作系统，对于复杂问题可能 给出更正确更高效的方案。

1. 文件系统及IO：

       I/O系统是基础组件最核心的技术，所有的程序处理的都是数据，按照流程就是数据的读取，数据计算，数据存储。这中间各个步骤都和I/O有关。I/O本身又存在多种源及方式。要想能够熟练的编写大数据基础组件，需要深入地理解I/O系统。

 主要包含： java I/O， hdfs I/O， hive I/O， flink I/O

  https://blog.csdn.net/panweiwei1994/article/details/78046000

Java8 I/O源码-目录
Java8 I/O源码-整体结构
Java8 I/O源码-InputStream
Java8 I/O源码-OutputStream
Java8 I/O源码-ByteArrayInputStream
Java8 I/O源码-ByteArrayOutputStream
Java8 I/O源码-PipedInputStream与PipedOutputStream
Java8 I/O源码-FilterInputStream、FilterOutputStream与装饰器模式
Java8 I/O源码-BufferedInputStream与BufferedOutputStream
Java8 I/O源码-DataInputStream与DataOutputStream
Java8 I/O源码-FileInputStream与FileOutputStream
Java8 I/O源码-Reader与Writer
Java8 I/O源码-CharArrayReader与CharArrayWriter
Java8 I/O源码-PipedReader与PipedWriter
Java8 I/O源码-BufferedReader与BufferedWriter
Java8 I/O源码-InputStreamReader与OutputStreamWriter
Java8 I/O源码-FileReader和FileWriter
Java8 I/O源码-PrintWriter
 

1.  模型抽象能力：

    能将复杂的场景高度抽象，需要学些UML建模之类的。平时更应该多看一些出名项目的源码，给不同的基础组件固化出合理的编程模型。

2. java 常用设计模式：

   设计模式是编程的灵魂，越是复杂的项目越能体现出设计模式的重要性。