很多做其他方向的程序员or工程师对大数据方向很有兴趣,作为从业者我今天捞点干的来聊一聊~
什么是大数据?
大数据单从名字来看,大量的数据,单单从名字来看没有任何技术含量。现在大数据这三个字如此火,不得不说这三个字成为了很好的商业噱头,对于投资人和创业者而言,大数据是个热门的融资标签,各种原由直接成就了现在的大数据盛况,各家企业争先开展大数据业务,大数据人才空前稀缺,人才缺口高大150万。
那对于从业者来说大数据到底是什么呢?狭隘的来说无非就是大量的数据进行清洗处理成规则的数据来进行存储后,再进行系列的计算、建模等最后输出对企业有用的数据/预测来支撑企业的运营。
大数据在企业中都有什么应用?
大数据平台在企业中扮演的角色是整个公司的数据中枢,最底层的是打通公司所有部门的数据、采集所有有意义的数据、建设统一的数据仓库,基础工作完成后就是建设BI及可视化平台。除此外还有运用数据带来运营的效果,例如大数据风控、大数据推荐、大数据精准运营等等。
我这里截了一张企业正在使用的大数据平台的管理页面的运行截图,最左侧列出的就是企业中常用的基本工具了。
可以看到的组件有:hive、hue、impala、oozie、sqoop、zookeeper等,这些就是组成企业大数据平台最基本的成员了~
转型大数据开发需要掌握的最基本技能有哪些?