自从去年开始做大数据研发到现在,学习了scala,接触了数据收集(flume、sqoop、dataX)、数据存储(hdfs、hbase、oss、s3)、资源管理(yarn)、计算框架(spark、flink、hive、presto)、数据分析(spark mllib),从.net转到java方向,跨度很大,也学到了很多。虽然这一年多很辛苦,但是心情很高兴,也不会觉得累。
这一年多在实际开发中遇到了很多问题,有解决的也有没有解决的,担心时间长忘了,也为了给后来者留下一些资源,从今天开始不定期的更新大数据(也可能会有机器学习和深度学习)方面的博文。
此文仅为标记一个开始,作为纪念!