玩转大数据,你需要了解这8种项目类型!

原创 2016年05月30日 15:57:51

【编者按】本文作者为大数据咨询公司 Mammoth Data 的创始人 Andrew Oliver,主要介绍适宜应用大数据的8大项目类型。文章系国内 ITOM 管理平台 OneAPM 编译呈现,以下为正文。

在过去的 12 个月里,笔者一直在大数据的战壕里挖掘。好吧,其实大部分时间我只是坐在比我更聪明的人旁边,看他们怎么在战壕里挖掘数据,再把所做的事情进行简化以上报给管理层。

很少有真正独具一格的 IT 项目,那些听起来比较特别的项目最终也只是大同小异。不过你们今天有眼福了,因为我决定出来冒个泡儿,跟大家分享一下过去 12 个月里接触到的8大项目类型。

1、探索交易周期

那些做电子商务的公司想当然地认为,装几个工具就能掌握网页访客从销售到付款的成交情况。但是很多公司处理的数据集远远不止网页成交率,而且这些数据集主要来自经销商。

每个经销商提供格式各异的不同数据集。当然,从根本上说,这是一个带有BI/可视化前端的核心ETL/数据整合项目。但是,对许多公司而言,要真正了解交易的生命周期(从开始、进展到结束)比想象中要困难。你需要整合大量的 CRM 数据、网站分析数据和财务数据,最后才能肯定地说:“是的,PPC(点击付费广告)带来了交易,但是40%的客户连第一笔交易都未能成功走到付款,那么……”

2、挖掘潜在客户

很多公司都想知道你在做什么,然后再根据你的活动情况向你推销产品。例如,你手机上可能装了一个提供遥测数据的 app,这样公司就会知道你在商场的哪个位置。凭借这些大数据,他们就能预测你在任意时刻的购买需求。

3、衡量营销效果

营销人员做事讲求效益,他们想知道具体要做哪些事情,以及这些事情对KPI有何影响。从本质上说,这又是一个 BI 项目,而且往往涉及到大量的变更数据捕获(CDC)和 ETL 数据整合工作。他们测量的实际KPI变化很大,有时还涉及到 Kylin 或 Greenplum 等工具中的数据库。至于其他情况,可能属于下一个类别——社交媒体。

4、测量社交媒体热度

通常,公众会在公开或半公开的社交网络上谈论你(或你的公司)。在这些地方你可以获取很多有用的信息,比如大家怎么看待你的品牌,你的营销活动是否有成效。既然美国地震勘探局可以通过 Twitter 探测到地震和震级,那么你也可以通过这样的平台了解刚推出的广告活动效果如何。随着越来越多的专业社交平台出现,对于某些垂直行业而言,其数据采集范围远远不止 Twitter 和 Facebook。

5、专攻日志文件

无论是为了入侵检测还是应对安全审计,你都需要捕获并收集日志文件并使其可检索。在这一领域,Splunk 无疑大赚了一笔。当然,在大数据中还有其他更灵活的选择。

6、因为不想买Teradata!

现在已经不是 Teradata 独统天下的时代了,大数据正在从边缘向核心发展,而且 Apache Kylin 的数据库已对所有人开放。得益于 Impala、HAWQ 和 Greenplum,MPP 分布式系统的地位也更加重要。那些价格昂贵、功能单一而且还不能兼容其他数据分析的工具,其发展空间越来越小——更别说是那些只能依靠某单一供应商的私有云。

7、经久不衰的ETL

ETL (Extract-Transform-Load)可能依旧是如今最常见的Hadoop工作负载——而且我敢说,ETL 是适用于 Spark 的最常见的非流式工作负载。顺便提一下,现在已经有上百个创业公司冒出来说自己能够处理这种任务了。

8、先捕获传感器数据再想办法处理

不管是电网、制造业、水泵,还是老司机开的车,都在向我们传递信息。这些信息都需要捕获。甚至有些人已经弄清了该如何处理这些数据。但是,及时捕获数据才是最重要的一步,因为很多人都觉得从技术上来说捕获数据并不那么容易。

此外,笔者还经常督促大家在大数据项目初期就要考虑数据分析问题。为什么呢?因为预先设计并确定好数据流的大小,远比数据已经准备好时再重新考虑整体布局要容易得多。但是有时候还是得细细咀嚼,做最好的打算。

近一年来,笔者见过不少其他项目类型,但是大多数用例都属于以上八种之一。不知各位老司机是否还有补充?

OneAPM 能为您提供端到端的 Java 应用性能解决方案,我们支持所有常见的 Java 框架及应用服务器,助您快速发现系统瓶颈,定位异常根本原因。分钟级部署,即刻体验,Java 监控从来没有如此简单。想阅读更多技术文章,请访问 OneAPM 官方技术博客

本文转自 OneAPM 官方博客

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

玩转营销先了解大数据营销的十大切入点

2013年似乎人人都在谈论大数据,然而说得云里雾里者多。许多企业家更关心的事是:如何才能真正找到大数据营销的切入点?     许多人感觉到大数据时代正在到来,但往往只是一种朦胧的感觉,对于其...

程序员想玩转大数据:需要知晓的12种工具

无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具。这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具...

小企业玩转大数据的N多招数

大数据时代,不管是IT巨头还是中小企业,都非常重视大数据技术,那么对于小企业来说,在这个大数据人才高度缺乏的情形下,怎么样才能发展好大数据呢?科多大数据带你一起来了解下方法。     大...

玩转大数据系列之Apache Pig如何与MySQL集成(三)

上篇介绍了如何把Pig的结果存储到Solr中,那么可能就会有朋友问了,为什么不存到数据库呢? 不支持还是? 其实只要我们愿意,我们可以存储它的结果集到任何地方,只需要重写我们自己的StoreFunc类...

玩转大数据_顺利渡过34岁裁退危机!

某菊花厂要把34岁以上的员工都裁退,中年都没到就危机了,票子木有了,工作木有了,连最热爱的数据库都没机会玩了,还好,有一个快速上手玩转大数据的机会!一定要好好珍惜啊!阿里云有一款大数据产品,云HBas...

从技术角度看中国谁能玩转大数据技术

毫无疑问,世界上所有关注开发技术的人都意识到“大数据”对企业商务所蕴含的潜在价值,其目的都在于解决在企业发展过程中各种业务数据增长所带来的痛苦。 现实是,许多问题阻碍了大数据技术的发展和实际应用...

人人皆可大数据!SACC教你玩转阿里ODPS

 人人皆可大数据!SACC教你玩转阿里ODPS                【IT168 专稿】为什么我们使用搜索引擎时,不同的用户搜索同样的关键词看到的广告却不...

玩转大数据_顺利渡过34岁裁退危机

原文链接 某菊花厂要把34岁以上的员工都裁退,中年都没到就危机了,票子木有了,工作木有了,连最热爱的数据库都没机会玩了,还好,有一个快速上手玩转大数据的机会!一定要好好珍惜啊!阿里云...

玩转大数据系列之Apache Pig如何与Apache Solr集成(二)

散仙,在上篇文章中介绍了,如何使用Apache Pig与Lucene集成,还不知道的道友们,可以先看下上篇,熟悉下具体的流程。  在与Lucene集成过程中,我们发现最终还要把生成的Lucene...

玩转大数据之Apache Pig如何与Apache Lucene集成

在文章开始之前,我们还是简单来回顾下Pig的的前尘往事:  1,Pig是什么?  Pig最早是雅虎公司的一个基于Hadoop的并行处理架构,后来Yahoo将Pig捐献给Apache(一个开...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)