大数据:一种收集、分析和使用数据的文化

37 篇文章 0 订阅
37 篇文章 0 订阅

真正的问题不是在于技术,而是在于过程。与所有IT投资一样,大数据成功的关键在于迭代,而不是关于Hadoop、NoSQL、Splunk或者任何特定的供应商或技术。

Gartner发现,虽然64%的企业正在投资于大数据,但约60%不知道如何进行大数据处理。

真正的问题不是在于技术,而是在于过程。与所有IT投资一样,大数据成功的关键在于迭代,而不是关于Hadoop、NoSQL、Splunk或者任何特定的供应商或技术。

创新是迭代的关键因素

对于大数据项目至少有两个主要问题。第一个是,很多公司认为它们是项目。大数据并不是一次性的项目:这是一种收集、分析和使用数据的文化。

企业面临的第二个大数据问题是,他们认为这是技术问题。虽然大多数的大数据企业是开源的,构建的大数据应用程序并不像你下载的Hadoop或NoSQL那么简单。

企业不应该太快选择任何大数据技术作为他们解决特定问题的解决方法,无论是Hadoop还是其他技术,企业应该仔细考虑所有可选方案,并为大数据技术制定一项战略。

企业不应该只是向大型供应商支付大笔资金来开始大数据项目,正确的做法是从小处着手。正如Thomas Edison所说,关键在于要快速失败,“我并没有失败,我只是发现了10000种行不通的方法。

大数据是关于提出正确的问题,这强调了域知识的重要性。但在现实中,你可能无法收集正确的数据和提出适当的问题。关键在于使用灵活的开放数据基础设施,让你能够不断调整你的方法直到成功。

大数据,大困惑

虽根据Gartner调查显示,自2012年以来,拥抱大数据项目的企业数量已经从58%增加到64%,但真正了解如何进行大数据处理的企业并不多。

这并不奇怪,因为我们确实很容易从数据中获取效益。我们可以很容易地说“可操作的见解”,但很难搜集这些数据。这也是为什么数据科学家的收入超过其他职业的原因,其平均收入为123000美元,而且还会继续上升。

数据科学家需同时具有统计学、数学和编程技能以及域知识,这些很难在单个人身上看到的知识。Gartner分析师Svetlana Sicular表示,其中,域知识最重要,因为这涉及从数据中获取价值。

他表示:企业内部某些员工比神秘的科学家更了解其自己的数据,而学习Hadoop比了解企业业务更容易,那还有什么呢?建立一支强大的技术和业务专家团队,并且有着支持创新的管理层来创造一个安全的环境。

这种“针对创新的安全环境”能够为数据从业人员提供空间来发展。

灵活的迭代是现在创新的核心

迭代方法并不只是针对大数据。理想情况下,大多数IT都应该遵循这种做法。财富50强某银行的高管表示,“产品稳定性来自于更频繁地发布代码,而不是更少地发布。”当然,这是灵活开发背后的主要思想。
在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

灵活开发还需要可以轻松地拥抱动态模式(例如Hadoop支持的模式)数据技术的辅助,正如DoubleClick和MongoDB创始人Dwight Merriman所说:

“现代开放是灵活开发。我们谈论的是大量重复的非常小的版本。我们每天都会发布一个版本;然后,我们改变它。产品经理会说,‘不,这不是我想要的’,于是我们又一次进行改变。这种迭代的概念对数据库和数据层有着有趣的影响。如果你每天都有新的架构迁移,这会很痛苦。但如果我们在存储方面非常灵活,这非常适合这个迭代的概念。”

换句话说,灵活的迭代是现在创新的核心。虽然技术有助于这种转变,但这更多的是文化转变,而不是技术转变。想要创新,你和你的企业需要开始考虑将数据作为你日常业务的重要组成部分,而不是你编码的项目。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据开发工程师、数据分析师和ETL工程师是在大数据领域中扮演不同角色的重要职位。 大数据开发工程师主要负责设计、开发和维护大数据平台和系统,使其能够高效地存储、处理和管理海量的数据。他们通常具备扎实的编程能力和深入的分布式系统知识,能够使用各种工具和技术,如Hadoop、Spark等,来处理和分析大规模数据大数据开发工程师能够帮助企业构建强大的数据基础设施,提供高效的数据处理能力,为数据分析师提供所需的数据支持。 数据分析师主要专注于从大数据中提取有价值的信息和洞察,以支持业务决策和战略规划。他们通过使用统计学和分析工具,如Python、R等,将数据转化为可用的见解和趋势,以帮助企业了解市场趋势、用户行为、产品性能等。数据分析师需要具备扎实的数学和统计学知识,能够熟练使用各种数据分析和可视化工具,并有良好的沟通能力,能够向非技术人员解释分析结果。 ETL工程师负责将数据从不同的数据源提取、转换和加载到数据仓库或数据湖中,以支持后续的数据分析和业务需求。他们需要理解业务需求,设计和实现数据抽取、清洗和转换的流程,确保数据的质量和一致性。ETL工程师需要熟悉ETL工具和技术,如Informatica、Talend等,以及数据库和数据仓库的设计和优化。他们与大数据开发工程师和数据分析师密切合作,提供高质量的数据供应给数据分析师和其他业务用户使用。 综上所述,大数据开发工程师、数据分析师和ETL工程师在大数据领域中各司其职,协同合作,为企业提供全面的数据解决方案和洞察。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值