数据及大数据的本质到底是什么?

最近几年,数据问题进入哲学视野。对于哲学家们探索的数据本质特征,我们可以从以下几个方面来把握。 数据与大数据 技术进步,主要是计算机、网络和各种类型的传感器以及云技术、分布式计算与存储等海量存储技术的广泛应用和运算能力极速进步,使得数据概念被大数据概念取代。数据量增加速度之快,大致可以这样...

2019-02-22 17:43:23

阅读数 4365

评论数 0

数据中心常见的问题有哪些?你知道吗?

虽然数据中心运营商的冷却管理比十年前要好得多,但许多设施仍然面临着容量不能充分被利用及浪费能源等问题。专家表示,气流管理的最终目标是更好地控制IT进气口的冷却温度设定值,同时使得传送至数据大厅的空气量最小化。 数据中心那些常见的问题 数据中心那些常见的问题,以下是数据中心中最常见的一些问题...

2019-02-21 16:28:57

阅读数 6859

评论数 1

大数据工具千千万,到底谁才是最强王者?

外面有成千上万的大数据工具。它们都承诺可以为你节省时间和资金,并帮助发掘之前从来见过的业务洞察力。虽然确实如此,可是面对那么多的选择,想理清这么多的工具谈何容易。 哪一种工具适合你的技能组合?哪一种工具适合你的项目? 为了替你节省一点时间,并帮助你首次选对工具,我们列出了我们青睐的几款数据工具,涉...

2019-01-05 17:38:30

阅读数 4313

评论数 22

怎样成功实现大数据项目架构?

本文作者Armel Nene是大数据公司ETAPIX Global创始人,在软件开发和数据架构领域有多年经验,熟悉Java、SOA、BI、企业搜索和数据仓库,同时也是开源贡献者,曾在诺基亚、Tata等多家公司工作。 软件供应商的营销部门在大数据方面做得很好,并使之成为了主流。这意味着什么?如...

2019-03-26 15:20:04

阅读数 0

评论数 0

搞大数据必须要弄懂的12种工具

无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具。这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具。 在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为程序...

2019-03-26 14:03:55

阅读数 1

评论数 0

解读大数据产业现状和未来趋势

当互联网技术发展到今天,大数据和云计算早已渗透我们生活。大数据以“降低信息不对称和提高决策有效性”为目标,可广泛作用于几乎所有行业,必将掀起一场新的革命。目前,大数据已经迎来了高速发展的黄金成长期,作用正在日渐也凸显,我们看好其发展趋势,推荐投资者提高对其中孕育机会的关注度。 从源到流看,大数据...

2019-03-25 21:18:39

阅读数 7

评论数 0

深度解析Spark在雅虎腾讯阿里的成功案例

Spark作为Apache顶级的开源项目,在迭代计算,交互式查询计算以及批量流计算方面都有相关的子项目,如Shark、Spark Streaming、MLbase、GraphX、SparkR等。从13年起Spark开始举行了自已的Spark Summit会议。Amplab实验室单独成立了独立公司D...

2019-03-25 19:54:32

阅读数 11

评论数 0

带你走进微博背后的大数据原理:微博推荐算法

在介绍微博推荐算法之前,我们先聊一聊推荐系统和推荐算法。有这样一些问题:推荐系统适用哪些场景?用来解决什么问题、具有怎样的价值?效果如何衡量? 推荐系统诞生很早,但真正被大家所重视,缘起于以”facebook”为代表的社会化网络的兴起和以“淘宝“为代表的电商的繁荣,”选择“的时代已经来临,信息和...

2019-03-25 17:18:06

阅读数 5

评论数 0

新手入门该如何系统地学习数据挖掘?

大数据现在火到不行,究其原因是大数据的价值引得各大企业趋之若鹜。其实大数据之所以价值潜力无穷,其核心是数据挖掘,挖掘找到人们所需要的有价值的东西。然而这个过程又是怎样的呢?如何开始?如何通过数据挖掘过程中找到我们需要的东西呢? 在学习数据挖掘之前应该明白几点: 数据挖掘目前在中国的尚未流行...

2019-03-25 14:13:08

阅读数 19

评论数 0

一篇文章告诉你BAT是如何“玩转”大数据的

中国互联网行业在大数据的积累和应用方面以百度、腾讯和阿里巴巴最为值得关注。百度、腾讯和阿里巴巴在大数据的应用上虽然有共同的地方,但由于各自的数据来源和商业模式的不同,其大数据应用也有不同的特色。本文将分析他们拥有的数据资产和应用,以方便大家了解大型互联网企业的大数据现状和未来策略。 百度...

2019-03-23 17:30:30

阅读数 17

评论数 0

大数据架构师:hadoop与Storm全方位比较,到底选哪一个?

首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件,磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。 注释: 1. 延时 , ...

2019-03-23 15:14:59

阅读数 19

评论数 0

大数据时代,还有哪些是数据分析做不了的?

我们的生活现在由收集数据的计算机调控着。在这个时代,头脑无法理解的复杂情况,数据可以帮我们解读其中的含义。数据可以弥补我们对直觉的过分自信,数据可以减轻欲望对知觉的扭曲程度。但有,些事情是“大数据”不擅长的: 数据不懂社交 大脑在数学方面很差劲(不信请迅速心算一下437的平方根是多少),但是大...

2019-03-23 14:19:54

阅读数 21

评论数 0

解密大数据的核心——数据挖掘

大数据现在火到不行,究其原因是大数据的价值引得各大企业趋之若鹜。其实大数据之所以价值潜力无穷,其核心是数据挖掘,挖掘找到人们所需要的有价值的东西。然而这个过程又是怎样的呢?如何开始?如何通过数据挖掘过程中找到我们需要的东西,这个过程又是什么? 总结的过程也是一个学习的过程,通过有章节的整理对...

2019-03-22 20:20:39

阅读数 22

评论数 0

全面解析大数据同步工具DataX与Sqoop的区别

DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换,由淘宝数据平台部门完成。Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : My...

2019-03-22 18:54:32

阅读数 16

评论数 0

解析数据中心六大节能方法

作为数据中心的管理者其实还可以找寻一些省钱的节能方法,本文就来说一说那些零成本投入的数据中心节能方法。 数据中心属于能耗密集型产业,从网站到网上银行,现代数据中心几乎运行着一切信息应用,因而其对电力的消耗增长显著,大规模数据中心更是能耗巨大,数据中心能耗成本往往占据数据中心总体运营成本的50...

2019-03-22 14:48:10

阅读数 15

评论数 0

分享一些阿里巴巴算法、数据工程师的笔试题以及答案

阿里巴巴算法、数据工程师笔试题 **1、**有三个结点的,可以构成多少个种叉树? **2、**一副牌52张(去掉大小王),从中抽取两张牌,一红一黑的概率是多少? 编程题: **3、**设计一个最优算法来查找一n个元素数组中的最大值和最小值。已知一种需要比较2n次的方法,请给一个更优的算法。情特别...

2019-03-21 21:17:05

阅读数 27

评论数 0

大数据扫盲!关于Hadoop12个事实

现如今,Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库,并以自己儿子的大象玩偶为其命名的时候,谁能想到它有一天会占据“大数据”技术的头把交椅呢。 虽然Hadoop伴随大数据一同火爆起来,但相信还是有许多...

2019-03-21 19:42:13

阅读数 22

评论数 0

史上最全面解析HPCC 和 Hadoop 之间的区别

硬件环境 通常使用基于Intel或AMD CPU的刀片服务器来构建集群系统,为了降低成本可以使用已经停止销售的过时硬件。节点有本地内存和硬盘,通过高速交换机相连(通常为千兆交换机),如果集群节点很多,也可以使用分层交换。集群内的节点是对等的(所有资源可以简化为相同配置),但这一点并非必须。 ...

2019-03-21 16:40:44

阅读数 20

评论数 0

干货分享:教你怎样在Hadoop中控制Map的数量

Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终input占据了多少block,就应该启动多少个Mapper。 Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终in...

2019-03-21 14:09:19

阅读数 20

评论数 0

现代数据架构的七大关键技术

企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发,现在情况正是如此。简而言之,主导企业IT技术的近30年的平台无法再满足推动业务发展所需的工作负载的需求。 数字化转型的核心是数据,它已成为商业中最有价值的事务。由于格式不兼容,传统数据库的局限...

2019-03-20 21:12:18

阅读数 21

评论数 0

提示
确定要删除当前文章?