![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 79
浮云的神马
这个作者很懒,什么都没留下…
展开
-
大数据分析平台的搭建部署案例分享
以下为原文: 夜深了,电话铃声响起!这不是恐怖片的开头,却是我们工作的开始。 2013年5月,我们收到一个电话线索,客户需要支持几十亿数据量的实时查询与分析,包括数据抓取和存储,我们经过一番努力提出一个解决方案,客户觉得有些不妥,决定自己招聘Hadoop团队,实施该系统…… 半个月后,客户打来第二个电话,明确表示Hadoop未能满足实时大数据分析的需求,决定接受我们的方案,但是客转载 2014-03-27 16:10:07 · 4364 阅读 · 0 评论 -
企业如何更好地制定大数据策略
大数据策略会失败吗?是时候该讨论一下这个问题了。企业才刚刚掌握如何集成ERP(企业资源规划)及其他业务应用来消除业务流程中妨碍效率的孤岛。面向服务架构、软件即服务、云计算及其他现代化解决方案在协助企业实现大型应用集成过程中都发挥了一定的作用。但是如今,在大量数据的环境中组织正面临新的一系列挑战。更清楚地说,它不是一条数据流。它是由许多独立的数据流组成的,使数据互相分离或者就像以前的企业应用那样将孤转载 2014-04-10 14:19:10 · 740 阅读 · 0 评论 -
Cassandra与HBase的大数据对决 谁是胜者?
众多基于Bigtable技术的开源项目正在通过不同的方式实现高扩展性、高灵活性、分布式及宽列数据存储等功能,Cassandra和HBase就是其中的代表。在大数据这一全新的领域里,Bigtable数据库技术非常值得我们关注,因为这一技术是由谷歌的工程发明的,而谷歌是一家公认的非常擅长管理海量数据的公司。如果你对此非常了解,那么你一定知道也熟悉Cassandra和HBase这两个Apache数据转载 2014-04-22 14:25:43 · 2234 阅读 · 0 评论 -
Spark,一种款速数据分析替代方案之下篇
安装 Scala 和 Spark第一步是下载和配置 Scala。清单 4 中显示的命令阐述了 Scala 安装的下载和准备工作。使用 Scala v2.8,因为这是经过证实的 Spark 所需的版本。清单 4. 安装 Scala要使 Scala 可视化,请将下列行添加至您的 .bashrc 中(如果您正使用 Bash 作为 shell):接着可以对您的安装进行测试,转载 2014-03-27 16:17:10 · 792 阅读 · 0 评论 -
大数据时代你不得不了解的大数据处理工具
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。 Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化、非结构化等)的能力。但这与之前有什么不同? 现今企业数据仓库和关系型数据库擅转载 2014-04-03 16:49:17 · 798 阅读 · 0 评论 -
切勿妄谈Hadoop,以及4个数据管道打造实践
时至今日,大数据这个概念已充斥了整个IT界,各种“搭载”了大数据技术的产品,各种用于处理大数据工具更如雨后的春笋触目皆是。同时,如果某个产品还没抱上大数据的大腿,如果某个机构还没捣鼓过基于Hadoop、Spark、Impala、Storm等高大上的工具,更会予以过时黄花的评价。然而,你的数据量真的需要使用Hadoop这样工具吗?你业务处理的数据类型真的需要大数据技术来支撑吗? 文转载 2014-04-02 14:39:43 · 710 阅读 · 0 评论 -
同步的与异步的,不同大数据分析的存储选择
目前市场上有两种类型的大数据分析方式——同步的和异步的,两种都有各自在存储容量和特性上的要求。 近来大数据分析这个词正逐渐成为IT界流行的一个术语,以代指有关大数据本身的猜想,通俗说来即成堆数据背后问题的答案。然而,如果我们能够从足够的数据点入手比对及交叉分析,或许能帮助我们找到一些有用的数据,甚至可能帮助避免灾难。 问题是显而易见的,所有的分析都需要大量甚至海转载 2014-04-01 16:26:44 · 1774 阅读 · 0 评论 -
六个超大规模Hadoop部署案例
虽然Hadoop是眼下热闹非凡的大数据领域最热话题,但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点,我们暂且不想猜测这个平台未来会如何,也不想猜测各种数据密集型解决方案的开源技术未来会如何,而是关注让Hadoop越来越火的实际应用案例。案例之一:eBay的Hadoop环境eBay分析平台开发小组的Anil Madan讨论了这家拍卖行业的巨擘在如何充分发挥Hado转载 2014-04-14 10:32:27 · 779 阅读 · 0 评论 -
首席工程师揭秘:LinkedIn大数据后台是如何运作的?
本文作者:Jay Kreps,linkedin公司首席工程师;文章来自于他在linkedin上的分享;原文标题:The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货,非常值得学习。文章将以四部分进行阐述,建议大家耐心看完。第一部转载 2014-03-28 13:47:57 · 1425 阅读 · 0 评论 -
企业如何布局和提升大数据能力
大数据作为现在最流行的一个方向,被很多的企业重视。那么如何提升企业的大数据能力,以发掘出它最大的价值呢?您可以从本文中找到答案。 一个成年人平均每天做出70个有意识的决定,一年就要做出超过25000个决定。企业的大部分决定是不重要的,但这其中会有一些决定给企业带来重大的机遇或者严重的后果。企业无法避免做出坏的决定,但是可以通过提升数据和分析能力降低做出坏决定的概率。转载 2014-04-11 17:28:21 · 884 阅读 · 0 评论