大数据技术基础_大数据技术发展前景

    今天，在写课程报告。报告的最后自己写了大数据技术发展的前景，也是自己这段时间学习以来的感悟，仅仅作为自己微薄功力的表达。

大数据发展到今天，可以说技术越来越成熟。可以说，大数据技术要解决的问题就是海量数据存储与计算的问题，目前对于数据采集Flume、Kafka、Datax、Canal等技术，对于存储有HDFS、Kafka等技术，对于计算有Spark、MapReduce以及流式计算Flink等技术，对于数据仓库技术主要有Hive、SparkSql技术，对数据仓库(Data Warehosue)的建模采用的有数据仓库之父Inmon的关系建模以及三范式建模理论，还有《数据仓库工具书》作者Kimball的维度建模理论。

目前还提出了Data Lake(数据湖)的概念以及数据中台的概念。对于数据挖掘，随着AI技术的不断发展，机器学习与深度学习在数据挖掘以及推荐系统上的应用日趋成熟。随着数据量的增多，知识图谱以及自然语言处理等AI技术也得到了广泛的应用。目前的流处理技术Flink也是非常的火热，Flink具有非常低的延时的功能，可以达到真正的实时处理，目前Flink还未开发完毕，仍然在Apache基金会进行相应的孵化，国内的阿里巴巴公司也深度参与了Flink技术的研发，相信不久未来，Flink技术一定会对于各个公司的实时数据处理有很大的应用。

可以说大数据技术的发展将会趋向于与AI更加紧密的相结合，大数据开发人员进行数据的清洗存储，以供算法人员进行数据的使用，获得企业想要的价值。