最近在进行年终整理,想起来要写博客系统的整理自己在工作中和学习上遇到的问题和相应的解决方案。目的有二,一是备忘,二是进行分享,避免后人再采坑。
本来想着在自己在腾讯云搭建的博客上进行分享的,但是没有备案,登不上去了,等一段时间备案后再同步到自己搭建的博客上。
本博客主要分享数据分析领域相关的内容,目前的工作内容是基于CDH 6.x的大数据组件进行数据分析,业务侧的需求和平台建设的需求都有涉及。
业务测主要的内容在于数仓的搭建和报表的输出,这个部分的重点和难点主要是技术规范的建设。技术侧自己在处理数据同步、元数据管理、数据质量方面的内容,主要做的事情有两方面,一是调研Hadoop生态圈中的一些开源组件如 Apache Atlas, Apache Griffin等,使用开源组件来进行数据治理,提高数据产出的质量及辅助定位问题;二是进行一些工具的开发,使用工具来提高整体的开发效率,减少重复烦躁的工作,提高工作积极性。
几经风雨,我又回来了。
博客再启航
最新推荐文章于 2024-01-17 12:44:39 发布