大数据 应用场景

http://www.36dsj.com/archives/7573

大数据：实际使用案例 

让Hadoop和其他大数据技术如此引人注目的部分原因是，他们让企业找到问题的答案，而在此之前他们甚至不知道问题是什么。这可能会产生引出新产品的想法，或者帮助确定改善运营效率的方法。不过，也有一些已经明确的大数据用例，无论是互联网巨头如谷歌，Facebook和LinkedIn还是更多的传统企业。它们包括：

推荐引擎：网络资源和在线零售商使用Hadoop根据用户的个人资料和行为数据匹配和推荐用户、产品和服务。LinkedIn使用此方法增强其“你可能认识的人”这一功能，而亚马逊利用该方法为网上消费者推荐相关产品。

情感分析： Hadoop与先进的文本分析工具结合，分析社会化媒体和社交网络发布的非结构化的文本，包括Tweets和Facebook，以确定用户对特定公司，品牌或产品的情绪。分析既可以专注于宏观层面的情绪，也可以细分到个人用户的情绪。

风险建模： 财务公司、银行等公司使用Hadoop和下一代数据仓库分析大量交易数据，以确定金融资产的风险，模拟市场行为为潜在的“假设”方案做准备，并根据风险为潜在客户打分。

欺诈检测： 金融公司、零售商等使用大数据技术将客户行为与历史交易数据结合来检测欺诈行为。例如，信用卡公司使用大数据技术识别可能的被盗卡的交易行为。

营销活动分析：各行业的营销部门长期使用技术手段监测和确定营销活动的有效性。大数据让营销团队拥有更大量的越来越精细的数据，如点击流数据和呼叫详情记录数据，以提高分析的准确性。

客户流失分析： 企业使用Hadoop和大数据技术分析客户行为数据并确定分析模型，该模型指出哪些客户最有可能流向存在竞争关系的供应商或服务商。企业就能采取最有效的措施挽留欲流失客户。

社交图谱分析： Hadoop和下一代数据仓库相结合，通过挖掘社交网络数据，可以确定社交网络中哪些客户对其他客户产生最大的影响力。这有助于企业确定其“最重要”的客户，不总是那些购买最多产品或花最多钱的，而是那些最能够影响他人购买行为的客户。

用户体验分析： 面向消费者的企业使用Hadoop和其他大数据技术将之前单一 客户互动渠道（如呼叫中心，网上聊天，微博等）数据整合在一起， ，以获得对客户体验的完整视图。这使企业能够了解客户交互渠道之间的相互影响，从而优化整个客户生命周期的用户体验。

网络监控：Hadoop 和其他大数据技术被用来获取，分析和显示来自服务器，存储设备和其他IT硬件的数据，使管理员能够监视网络活动，诊断瓶颈等问题。这种类型的分析，也可应用到交通网络，以提高燃料效率，当然也可以应用到其他网络。

研究与发展： 有些企业（如制药商）使用Hadoop技术进行大量文本及历史数据的研究，以协助新产品的开发。

当然，上述这些都只是大数据用例的举例。事实上，在所有企业中大数据最引人注目的用例可能尚未被发现。这就是大数据的希望。

大数据技能差距

企业运用大数据的最大障碍是缺乏相关的技能，如Hadoop管理技能、大数据分析技能或数据科学。为了让大数据真正被大量采用，并且实现其全部潜力，缩小技能上的差距就至关重要了。这需要从两条战线进行攻击：

首先，这意味着开源社区和商业大数据厂商必须开发易于使用的大数据管理和分析工具和技术，为传统的IT和商业智能专业人士降低进入的门槛。这些工具和技术，必须从底层数据处理框架抽象掉尽可能多的复杂性。可以通过图形用户界面，类似于向导的安装功能和日常任务自动化的组合方式实现。

其次，社会必须开发更多的教育资源，培养现有的IT和商业智能专业人士以及高中生和大学生成为我们未来所需要的大数据从业者。

据麦肯锡公司研究，到2018年仅美国就有可能面临14万〜19万具备专业分析技能的人才，以及懂得使用大数据分析做出有效决策的150万经理和分析师的短缺。造成短缺的部分原因是数据科学本身的规律导致的，因为数据科学要求各种综合技能。

具体来说，数据科学家必须具备的技术技能侧重于统计、计算机科学和数学。但他们还必须具有商业头脑，即了解现有业务，并且能找到大数据可以业务提供最大价值的方向。或许同样重要的是，数据科学家必须具备专业的沟通技巧，以及通过大数据的可视化，向业务同事讲故事的能力。

正如本报告中提到的，一些大数据厂商开始提供大数据培训课程。IT从业者具有极好的机会，利用这些培训和教育活动的优势磨练自己的数据分析技能，并可以在企业内部确定新的职业道路。同样，在南加州大学、北卡罗来纳州立大学、纽约大学和其他地方，几门关于大数据和高级分析技术的大学级别的课程也应运而生。但大数据的发展和普及还是需要更多的课程。

只有通过两条战线-更好的工具和技术，更好的教育和培训-才能克服大数据技术差距。

大数据：企业和供应商的后续动作
对企业和为他们服务的供应商双方而言，大数据都具有很大的潜力，但首先必须先采取行动。Wikibon的建议如下。

行动项目：各个行业的企业应评估现有和潜在的大数据用例，参与大数据社区了解最新的技术发展。与大数据社区里志趣相投的企业和供应商一起识别大数据能够提供商业价值的领域。接下来，考虑企业内部的大数据技术水平，确定是否开始大数据方法，如Hadoop的试验。如果是这样，与IT部门和业务部门一起制定计划，将大数据工具、技术和方法整合到企业现有的IT基础架构。

最重要的是，首先要在所有工作人员中培养数据驱动的文化，鼓励数据实验。当这个基础已经奠定，开始使用大数据的技术和方法提供最大的业务价值，并不断地重新评估新成熟的大数据方法。

IT供应商应该帮助企业找出最有利可图、最实用的大数据用例，开发使大数据技术更易于部署、管理和使用的产品和服务。拥有开放而不专有的心态，给予客户尝试新的大数据技术和工具所需要的灵活性。同样地，开始建立大数据服务，帮助企业发展部署和管理大数据方法（如Hadoop）所需要的技能。最重要的是，随着大数据部署方案的成熟和成长，及时倾听和回应客户的反馈。