你可能准备在公司启动一个大数据项目,但是你对Hadoop并不熟悉,并且不确定这样的项目是否可以带来价值。别着急,许多企业都会遇到类似的问题。
企业在部署Hadoop时总会遇到一些问题。例如,企业要在生产环境中使用Hadoop,但是很难找到熟悉Sqoop、Hive、Pig和MapReduce编程语言的开发人员。为了使大数据项目中Hadoop的价值最大化,企业需要重视一些关键步骤。
你可能准备在公司启动一个大数据项目,但是你对Hadoop并不熟悉,并且不确定这样的项目是否可以带来价值。别着急,许多企业都会遇到类似的问题。在SAS公司与国际研究所携手发布的《企业应用Hadoop现状》报告中,提出了可以帮助企业发挥Hadoop大数据项目最大价值的五个步骤:
1.识别和定义可提供竞争优势和战略的用例
首先要选择目标。假设你想研究客户行为,应该关注新的数据类型,而不是研究其它项目,比如企业数据仓库;假设你想获取用户在线行为信息,应该分析点击量数据;假设你想了解客户对公司品牌的看法,你需要分析社交媒体数据。
还要确保你的Hadoop项目拥有高知名度,并提供可度量价值。例如销量提升或者很快拥有回头客户。这将有助于证明你的项目有价值并为未来的新项目铺路。
推荐一个帮助识别和定义用例的好方法:SAS商业分析现代评估(BAMA)服务,该服务旨在帮助扩大企业对分析的应用。BAMA是完成IT和业务单元之间对话的一个工作组,双方可以积极合作,共同面对分析流程方面的巨大挑战。
2.评估Hadoop是否适用于现有数据和分析架构
对于许多企业而言,商业智能和分析项目(如数据仓库)已经持续了几十年。尽管Hadoop数据存储成本可能远远低于数据仓库,但是也不应该废弃数据仓库方面的投资转而让Hadoop承担数据仓库的角色。虽然Hadoop是存储传感器数据的理想选择,但它不擅长实时处理少量数据。分析专家Tom Davenport表示,许多公司都在Hadoop集群中存储大量新的数据类型,然后把这些数据存储到企业数据仓库来满足产品应用的需求。
假设你已经完成评估,并考虑实施分析客户行为的Hadoop项目,那么你需要评估支持行为分析的数据存储在哪里。使用传统数据仓库存储点击量数据可能使成本飞涨。Hadoop可以存储大量数据而只消耗合理的成本,但仍然需要考虑其他的存储方式。企业想要更好地理解客户行为,需要强大的分析以便利用存储在Hadoop集群中的客户点击流数据。
3.利用数据管理、数据发现和分析提供价值
一旦你决定了要在数量最大且移动最快的数据项目中使用Hadoop,你需要工具管理、操作和分析数据,并且保证使用的工具必须跟得上节奏。假设你将传感器数据存储在Hadoop中,你想从数据中得到哪些信息呢?只是拥有数据不会获得太多信息,但是如果你可以把它与第三方数据关联,构建基于分析的数据表,就可以获得一些有价值的信息。如果涉及机械设备,带来的衍生价值会更多。例如,分析师预测飞机可能发生的故障以便做好维修工作保证飞机的飞行,增加收入的同时也节约了成本。这种基本的收益对于项目的成功至关重要。
简化你的整体时间值将帮助你进一步了解Hadoop的价值。不论数据存储在Hadoop还是其它地方,首先要确保你可以根据需求尽快地访问并加载数据。在几秒钟之内查询数十亿行数据,并在Hadoop中进行操作,无需把数据转移到单独的分析平台。要确保分析流程自上向下的高效性,这是Hadoop实施交付价值的关键。
4.重新评估你的数据集成和数据管理需求
数据分析项目的结果可能用于商业战略的决策。数据整合和管理也同样重要,你需要了解数据的来源并保证数据的可靠性。数据管理可以领先技术一步实现人与程序的结合。我们应该寻找像SAS这样的技术合作伙伴,SAS在整合IT和业务部门方面有丰富经验,可以帮助企业制定数据标准以便适用您特定的企业文化。数据管理实践会给你带来更大的信心,数据分析带来的价值也是显而易见的。
5.尽早评估技能人才缺口并制定弥补空白的计划
大数据仍然是相对较新的领域,有效管理项目所需的技巧少得可怜。生产环境中使用Hadoop需要有Sqoop、Hive、Pig和MapReduce等编程语言经验。
你应该结合企业需求和战略,确定是否需要数据科学家以便使你的大数据项目更有意义。当然传统的业务分析师也许就能满足需求。例如,就像包含在SAS数据加载机中的Hadoop工具那样,使用直观的界面,用户就可以获取、发现、转换、清理、集成并交付数据,无需Sqoop、Hive或者Pig方面的专家。但是如果你聘请了数据科学家,应该让他专注于建模等最擅长的领域,而非编写MapReduce,这样才能获得最大的价值。最终,企业得到最好的结果就是牢固掌握了所需技能,并在Hadoop项目实施之前制定计划来弥补技能欠缺。
在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取