Java大数据开发知识体系简介

身为一名Java后台开发工程师，我们的日常工作就是后台开发，经常接触各种各样的数据库，接触各类或多或少的数据，如果身处在一个人数较少的公司或者是一个想要自己快速成长将来能够成为一个不可或缺的人员，那么这篇文章可能会对你有所启发。

现在这样一个数据大爆发的时代，将来数据只会越来越多，我们传统采用的更多的可能是关系型数据库，例如mysql、oracle、SQLServer或者还有国产数据库等，但是这些数据库应对少量数据或者比较多的数据还可以，但是如果要应对单表几百万、几千万甚至上亿的数据量时，这种单一关系型数据库可能就不太合适了，这就不能采用传统的单一类型数据库了，而是需要多种数据库的综合利用，再加上kettle、logstash、kafka-connect等各种中间件的使用让数据像水流一样，按照需求灵活自由的在多种数据库库之间传递，然后在项目中通过引入kafka、rabbitmq、redis等中间件，提高项目的并发量，在服务器上引入keepalived、nginx等实现高可用和负载均衡等，从而可以比较好的实现以海量数据为基础支撑，高可用、高并发、高性能的系统项目。目前个人总结的几个方面需要的知识体系大概如下图，核心思路就是让自己成为一个数据库选型、数据处理、Java开发、项目部署等后台全栈型人才。