数据蒋堂 | 大数据技术的4个E

最新推荐文章于 2019-12-07 17:00:00 发布

数据派THU

最新推荐文章于 2019-12-07 17:00:00 发布

阅读量225

点赞数

作者：蒋步星

来源：数据蒋堂

本文共1100字，建议阅读8分钟。
本文将大数据特点总结成4个E，可作为选择大数据技术解决方案的参考。

大数据的4个V说法在业界已经尽人皆知，这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。为方便记忆，类似4个V，我们把这些特性总结成4个E，用户在选择大数据技术解决方案时可作为参考。

Easy

大数据技术要足够简单易用

这个E很容易理解。

要进行大数据处理的场景很多，涉及工作人员也是各种各样的。如果技术的难度太大，那会导致只有少数人能应用，而且实施复杂度较高，这样大数据的应用就会大打折扣了。

大数据领域这种例子并不少，Hadoop刚出来时只有MapReduce，相对于完全用Java硬写，MapReduce已经简单了很多，所以会积累出一批拥趸。 但MapReduce的难度仍然不小，所以逐步被后来封装出来的HIVE SQL替代。Spark上的Scala也风靡过一阵，但难度仍然不少，目前也逐步归于平静，更多的人还是愿意使用更简单的Spark SQL。

Elastic

大数据技术要具有弹性扩展能力

这个E也容易理解。

很多情况下，大数据并不是一下子就很大，而是逐步变大的。即使已经较大的数据，也还会进一步变得更大。因此要求大数据处理技术有一定的弹性扩展能力就是很自然的事情，这一点一般都不会被大数据技术提供商忽略掉。

当然，任何技术都有局限性，面向一般规模和面向超大规模的技术相差是很大的，不大可能有一种技术能够有效适应数据规模从0到无穷大的各个阶段(所谓有效适应是在各个阶段该技术都能达到相当优良的性能，而不只是可以处理），用户在选择技术时还要对自己的数据规模变化范围有一个预估。

Embeddable

大数据技术应可以被嵌入集成

这个E需要特别指出，常常不被重视。

大数据处理经常并不是一件独立的事情，它需要和具体的应用配合工作才能发挥其业务价值，这些处理常常在应用执行到某个环节时就需要进行，这样就要求相应的技术能够被方便地嵌入集成到应用程序中，随时随地被主程序调用。

特别地，大部分应用程序建立在J2EE架构上，因而对Java应用的可集成性就是个特别重要的指标。 一般基于Java或SQL体系的大数据技术在集成方面都没太大问题，而其它技术体系的就难说了。而且，大多数大数据技术常常需要独立部署，即使其计算能力可以被集成，但必须依赖于外部的独立进程，不能被应用完全控制，有时会显得非常累赘。

Environment-friendly

大数据技术对数据环境要求尽量低

这个E是很多大数据技术不具有但却很重要的。

目前的大数据技术，如Hadoop和MPP等，都要求先把数据放进该技术规定的某种存储体系中。 这样当然有意义，数据事先组织之后会获得更高的性能。但是，经常的情况是，我们需要处理的大数据事先并不在这些存储体系中，而且把外部数据搬进这些存储体系本身也是一种大数据处理，这些场景下都无法利用这些大数据技术了。

更好的大数据技术应当能不挑数据源，随便什么来源的数据都可以处理，只是有可能因为数据源的限制而一定程度地降低性能，但并不要求必须先做好ETL才能处理。

其实最后那个特性用E并不是很贴切，但为了凑4个E就对付了。 这个词本来是环保的意思，开放的大数据技术可以少复制一些数据，少部署一些硬件，省点电，也算环保吧。

专栏作者简介

润乾软件创始人、首席科学家

清华大学计算机硕士，中国大数据产业生态联盟专家委员，著有《非线性报表模型原理》等，1989年，中国首个国际奥林匹克数学竞赛团体冠军成员，个人金牌；2000年，创立润乾公司；2004年，首次在润乾报表中提出非线性报表模型，完美解决了中国式复杂报表制表难题，目前该模型已经成为报表行业的标准；2014年，经过7年开发，润乾软件发布不依赖关系代数模型的计算引擎——集算器，有效地提高了复杂结构化大数据计算的开发和运算效率；2015年，润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”；2016、2017年，荣获中国电子信息产业发展研究院评选的“中国软件和信息服务业十大领军人物”；2017年度中国数据大工匠、数据领域专业技术讲堂《数据蒋堂》创办者。

数据蒋堂

《数据蒋堂》的作者蒋步星，从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞，虚拟与现实的相互交织，产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点，站在研发人员的角度从浅入深，进行全方位、360度无死角深度剖析；对于一些业内观点，站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展，站在业内专家角度给予预测和推断。静下心来认真研读你会发现，《数据蒋堂》的文章，有的会让用户避免重复前人走过的弯路，有的会让攻城狮面对扎心的难题茅塞顿开，有的会为初入行业的读者提供一把开启数据世界的钥匙，有的甚至会让业内专家大跌眼镜，产生思想交锋。

数据蒋堂第二年往期回顾：

数据蒋堂 | 莫非我就是被时代呼唤的数学人

数据蒋堂 | 用HBase做高性能键值查询？

编辑：黄继彦

数据派THU

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
数据蒋堂 | 大数据技术的4个E

作者：蒋步星来源：数据蒋堂本文共1100字，建议阅读8分钟。本文将大数据特点总结成4个E，可作为选择大数据技术解决方案的参考。大数据的4个V说法在业界已经尽人皆知，这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。为方便记忆，类似4个V，我们把这些特性总结成4个E，用户在选择大数据技术解决方案时可作为参考。Easy大数据技术要足够简单易用这个E很容易理解。要进行大数...
复制链接

扫一扫