本人最近入职一个比较大型的国企,转行从事大数据开发,谈下大数据技术在项目的具体实践应用
从事了两年多的java开发,在18年大数据风头正胜的时候自学大半年时间大数据技术,但由于大数据一行门槛较高,当然并不好找关于大数据相关的工作,毕竟没有实际的开发经验,今年换工作的时候刚好我现在入职的公司看我写了会一些大数据开源技术,就邀请我过来谈谈。
回归正题,大数据具体做什么,普通的公司如何使用大数据技术来为公司带来价值,这是一个比较复杂的问题。 可能大家都会说:阿里使用大数据来预测用户的购买意向等等,但是觉大部分公司并没有如此多的用户,那么他们要这技术何用?
答案是业务数据分析!
从公司的销售,公司生产上提取业务数据分析业务报表,也就bi报表,大数据平台提供稳定数据仓库,etl,灵活的维度业务数据分析
那么他的用户是谁?肯定是公司的领导层和业务员
最基本的技术框架是什么?从业务系统提取数据,把业务数据导入hdfs,hdfs导入hive,hive根据实际业务需求提取数据,将hive处理好的数据导入kylin做预计算,将kylin数据导入bi报表系统!完工
现在我们的大数据平台才起步,需要广度的需求扩展,如果有志之士欢迎留言讨论,共同学习进步