从业于大数据,需要我们不断的学习。
大数据这个行业所要学习的技术栈种类繁多。
就我个人职业生涯中,接触到的技术栈有以下这些:
- 分布式系统:HDFS,Alluxio
- 计算引擎:Mapreduce,Spark计算引擎:Mapreduce,Spark
- 数据采集发布:Kafka,Redis,Flume
- 数据交换(ETL):Sqoop,Kylin数据交换(ETL):Sqoop,Kylin
- 数据分析处理:Hive,Impala
- 实时流数据处理:Spark,Flink,Storm,Stream
- 数据检索:ElasticSearch
所涉及到的语言也是多种多样的:
java,python,scala,shell,groovy
还用到过一些其他当下流行的技术:
比如docker,github.
技术日新月异的当下,要求我们要有扎实的基础,意识到技术的演变都是在这基础之上发展而来。如果不能认识到这一点,那么终会跟不上技术时代的步伐而被淘汰。有方法的勤奋方能事半功倍,有积累的学习才能做到集腋成裘,聚沙成塔。
这是我开设此专栏的初衷,愿与各位技术同道互励共勉。