IT时代周刊

人类从未对自己的认知能力满意过。也正因为此，过目不忘，一目十行，上知天文下知地理，一直被看做是人类进阶版本的一个典范。计算机早就做到了这一点。最近，在阿里巴巴的数据开放日中，我会面了数位数据科学家。当他们描述大数据未来能力的时候，我就会想到人类的局限。认知科学的未来，必然是计算机与人类的完美结合。但是，这个结合，应该是什么样的?数据越来越多，而人类的解读能力是固定的，人会累，会无法完全理...

大数据规划有五个步骤，首先从业务驱动的角度，相关部门选择要解决和产生的业务场景。针对需求处理和采取整合这些场景需要的大数据。当然选择的重点是怎么使信息快速产生价值。大数据分析的未来将朝着更为普及化、更为实时的数据分析去迈进，也就是说“针对正确的人，在正确的时间，获得正确的信息”，从这个意义来说，它已经超越了技术本身，是更为接近业务层面的实时分析。对于一个成功企业来说，数据整合能...

对于传统企业而言，无需任何繁杂的技术手段，只需要接入百度大数据引擎，即可利用大数据去帮助现有业务进行升级和创新了。峰哥认为百度此举是在加大此次大数据台风的风力。换一种角度看，这也是百度为了快速丰富各行业数据库的做法。其实早些时候，另一个互联网巨头阿里巴巴也宣布过有关大数据的战略，将会重点挖掘大数据的商业价值，也就是所谓的“云端+大数据”。当然了，这样的机会腾讯也不会落下，从早期的QQ圈子...

Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务发送(Map)到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库...

大数据的出现使业务智能真正地走入了21世纪。但事实上“大数据”代表的并不是解决方案，而是一类问题。在这些PB数量级的数据中，隐藏着怎样的价值？我们从中能得什么，并且使之指导业务部署的方方面面。但这一巨大量数据实际上有用的没有多少。所以为了利用其隐藏的价值，企业需要收集、过滤，并通过情感分析应用、定位工具以及其它的技术来分析它，从中产生有用的信息，从而为今后的业务发展服务。云作为大数据分析...

近期发布的《中国Hadoop MapReduce生态系统分析》报告指出，在中国，Hadoop 应用正在从互联网企业，逐渐拓展到电信，金融，政府，医疗这些传统行业。虽然目前Hadoop应用场景还是以日志存储、查询和非结构化数据处理为主，但是Hadoop技术的不断成熟以及生态系统相关产品的完善，包括Hadoop对SQL不断加强的支持，以及主流商业软件厂商对Hadoop支持的不断增强，会带动Hadoop...

先粗略说一下“hadoop fs”和“hadoop dfs”的区别：fs是各比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs不可用。1、列出HDFS文件：hadoop fs –lsa) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容b) 如果要列出某个文件...

从人工统计分析到电脑 大型机再到今天的分布式计算平台，数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构最火热的莫过于Hadoop，Spark和Storm这三种，而Spark和Storm这两个后起之秀更是抢了不少Hadoop的风头，也让网上逐渐开始有一种声音说Hadoop的日子已经快到头了。但究竟这三者之间是什么关系，未来大数据架构究竟该走向何方呢?短短几年时间，大数据这个词便已家...

数据中心智能软件供应商CIRBA公布其效率和风险都在CIRBA6 1版上部署。CIRBA的效率和风险仪表盘包含了效率和频谱风险，提供了数据中心在环境上主机和虚拟机或客户独特的供应水平状态的视觉表现。PB级是多大？EB的确切位置从哪里来的？把这样的问题弄清楚大数据仍然是大生意。虽然有大量的话炒作"大数据".我不得不承认EMC的ChuckHollis的在规模和信息工厂效益的价值。统计 这有大量的博...

由云计算提供的弹性和按需配置，为让企业组织能够试验和尝试解决大数据的新方法提供了核心力量。企业可以根据供应的基础设施，用不同的迭代方式尝试和操纵他们的数据。大数据的出现使业务智能真正地走入了21世纪。但事实上“大数据”词代表的并不是解决方案，而是一类问题。在这些PB数量级的数据中，隐藏着怎样的价值?我们从中能得什么，并且使之指导业务部署的方方面面。但这一巨大量数据实际上有用的没有多少。所以为了利...

在短短的几十年里，“技术天才”与社会的关系已经改变：他们从关在屋里的孤独者变成救世主，从反社会者变成社会的最大希望。许多人现在似乎相信，理解我们这个世界的最佳方式，就是坐在电脑屏幕前分析我们称之为“大数据”的海量信息。关于这一点，我们只要看看 “谷歌流感趋势（Google Flu Trends）”。2008年，当谷歌推出这项服务时，硅谷的许多人将它鼓吹为表明大数据将很快淘汰传统分析方式的一个标志...

大数据的发展源于物联网技术的应用，并用于支撑智慧城市的发展。物联网技术作为互联网应用的拓展，正处于大发展阶段。大数据、物联网、智慧城市三者之间的关系简单来说就是：大数据的发展源于物联网技术的应用，并用于支撑智慧城市的发展。物联网技术作为互联网应用的拓展，正处于大发展阶段。物联网是智慧城市的基础，但智慧城市的范畴相比物联网而言更为广泛;智慧城市的衡量指标由大数据来体现，大数据促进智慧城市的发展;物...

大数据(Big Data)指的是“不能现有的工具对于复杂、海量的数据集合进行提取、存储、搜索、分析、处理等”。在业界经常会用4个V(即Volume、Variety、Value、Velocity)来总结大数据的主要特征。大数据(Big Data)指的是“不能现有的工具对于复杂、海量的数据集合进行提取、存储、搜索、分析、处理等”。在业界经常会用4个V(即Volume、Variety、Value、Ve...

架构大数据解决方案的软件工程师们都知道，业务分析有一项技术跨越了SQL数据库、NoSQL数据库，非结构化数据、面向文档数据存储及大型处理。如果你猜到了Hadoop，那你回答正确。Hadoop也是许多巨头公司具有的一个共性，如亚马逊、雅虎、AOL、Netflix、eBay、微软、谷歌、 Twitter和Facebook。IBM甚至是走在时常的前沿，促进Hadoop进行企业分析。此开源模型无处不在，它...

从不为人知，再到被神化，过度的炒作已经偏离了对大数据本质的认识。从本质上说，数据本身并不具有意义，有时尽管数据量庞大，但是使用价值却不大。可以说谷歌拥有最多的数据来源，它一直想知道每个媒介在一个人对品牌从认识到考虑到最后购买，分别起到了怎样的作用。但即便像谷歌在广告和搜索方面下了很大的努力，也无法描绘出一幅完整的视图，因为还有更多其他媒介是它无法掌握的。因此如何能够打通所有的媒体，从广告商的角...

被称作第三次IT浪潮的云计算，带来生活、生产方式和商业模式的根本性改变，成为当前全社会关注的热点。随着“宽带中国”战略的落地，云计算与大数据技术作为信息化转型升级的新引擎，已逐渐进入技术爆发期。IDC日前对2014年的科技行业9大趋势进行了预测，云计算榜上有名。权威机构将我国云计算的发展分为三个阶段，而目前国内的云计算市场正由成长期逐渐迈入成熟期。2014年同样是大数据发展更加迅速的一年，越来...

大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值。趋势一：与云计算深度融合大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值，因此，从2013年开始，大数据技术与云计算技术必然进入更完美的结合期。总体而言，云计算、物联网、移动互联...

在面试大数据职位的时候，你会遇到多种问题(hdfs、map reduce、zookeeper、hadoop、hbase等等)，当时你的内心是崩溃的。写下这篇文章的意义是提高你的面试成功率，让你用出洪荒之力，职业生涯进一步发展。1. hdfs原理，以及各个模块的职责Namenode 的目录结构：对于 任何对文件系统元数据产生修改 的操作， Namenode 都会...

大数据概念的横空出世，有赖于短短几年出现的海量数据。据统计，互联网上的数据每两年翻一番，而目前世界上90%以上的数据都是最近几年才产生的。当然，海量数据仅仅是“大数据”概念的一部分，只有具备4个“V”的特征，大数据的定义才算完整，而价值恰恰是决定大数据未来走向的关键。大数据时代:大数据发展三要素大数据的发展需要三个必要条件：数据源、数据交易、数据产生价值的过程。近年来，社交网络...

作为当今国际时尚热词，因其正在悄然影响和改变着人们生活的方方面面，而备受各国所瞩目。据国际有关研究表明，整个人类文明所获得的全部数据中，约有90%是近两年产生的，预计到2020年，全世界所产生的数据规模将可能达到今天的44倍之多，也正因为有了今天 “大数据的量”，才使得未来工业、农业、商业、科研、医疗、文化、国防、反恐等诸多领域能够产生新的时代跨越。然而，人们同时也格外担忧，该如何面对 ...

虽然Hadoop经常被认为是大数据的代名词，但事实似乎并不是这样。根据最新Gartner报告显示，尽管人们对大数据持续热情，但对Hadoop的需求并没有加速。根据这项调查显示，大多数现在没有计划投资于Hadoop，只有26%已经部署或者正在试验Hadoop。然而，他们都正在积极拥抱其他大数据技术。对Hadoop“相当疲弱”的兴趣出于各种各样的原因，缺乏Hadoop技能为最大的原因(57...

大数据不只是要处理很多的数字，还得要通过这些数字建立模型、深入挖掘，并且寻找那些有可能改变企业运营方式的信息。以下谨为大家介绍20位大数据领域的顶尖人才。大数据不只是要处理很多的数字，还得要通过这些数字建立模型、深入挖掘，并且寻找那些有可能改变企业运营方式的信息。以下谨为大家介绍20位大数据领域的顶尖人才。Pinterest数据科学家安德莉亚·伯班克Pintere...

在颠覆性技术层出不穷，商业创新空前活跃的今天，战略方向比过去任何时候都更加重要，这主要表现为对新技术优先级的判断。近日Tech Pro Research发起了一项在线调查显示，418名企业CXO级别高管和部门级人员参与了调查，结果显示企业高管和非高管人员对未来三年企业面临的重点技术趋势的判断大致相当，但也有些分歧：但是所有人都不约而同地将提升IT安全视作未来三年最重要的IT要务：...

英特尔大数据首席架构师 戴金权在戴金权看来，Hadoop将MapReduce分布式计算和大数据技术带入主流应用。但随着大数据需求和使用模式的推广，Hadoop已经暴露诸多局限性。特别是越来越多的数据应用，如需要对数据进行准实时的深度挖掘和分析时，业内需要超越MapReduce的全新大数据分析模式。也正是看准了Spark的发展趋势，英特尔早在2-3年前就已经和UC Berkeley一起紧密合...

百度研究院副院长，深度学习实验室主任，图片搜索部高级总监余凯发表的演讲“大数据人工智能”。百度研究院副院长，深度学习实验室主任，图片搜索部高级总监 余凯以下为演讲实录：下面，我可能更多从实践的方面去跟大家分享一下百度在大数据、人工智能我们最近的一些工作，包括我们对这些方面的一些思考。2014年8月14日，麻省理工学院科技评论杂志介绍百度的人工智能之梦，文章题目叫《一个中国互联网...

大数据公司早已具有影响世界的能力，只不过这些现实并没有放到正面的大舞台上才让人们觉得这些公司很低调。而如今，低调已不再需要，是时候展现大数据在这个时代的威力了。目前全球大数据企业主要分为两大阵营。一部分属于单纯以大数据技术为核心的新兴企业，希望为市场带来创新方案并推动技术发展。另有一些原本打理数据库/数据仓储业务的老牌厂商，他们打算利用自身优势地位冲击大数据领域，将现有安装基础及产...

随着大数据的快速发展，未来五年内，数据量和数据类型都会快速增长，那时，PB级的数据量已经不能被称为大数据了。随着数据的猛增，企业对数据分析和存储能力的需求必然大幅上升。相对于传统数据库和数据仓库技术，Hadoop的优势在于将数据分析和存储平民化。美国联合市场研究(AlliedMarketResearch)机构近日预测，到2020年，Hadoop的市场价值会超过500亿。Hadoop技...

在互联网高速发展的今天，很多人还没有搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联网的时候，大数据时代又来了。大数据已经无处不在，随之而来的就是大数据技术人才的急需，以下是关于大数据技术的面试问题，大家可以再面试前参考。单项选择题1. 下面哪个程序负责 HDFS 数据存储。a)NameNode b)Jobtracker c)Datanode d)second...

随着大数据时代的到来，数据分析与探勘成为科技显学，各行各业对于大数据的浓厚兴趣也直接反映在大数据人才的丰厚薪资中。根据美国大数据及商业智能软体公司 SiSense 调查研究指出1，资讯分析相关人才起薪约为年薪 5.5 万美元，换句话说，相较美国大学毕业生平均年薪为 4.76 万美元，高出 7400 美元，而最高薪的数据科学家，平均年薪为 13.2 万美元，打败一大票科技公司的高阶工程师，而且这个...

Hadoop的全球市场以及相关的硬件，软件和服务市场预计将达到50.2亿美元，到2020年，非结构化和结构化数据，市场观察家预测市场继续扩张。联合市场研究表示，在2013年全球Hadoop的市场占比约为20亿的收入，并在未来七年内增加增48.2亿，2020年为Hadoop的年复合增长率将达到58.2%。联合研究的方法论分为Hadoop的市场到软件，硬件和服务的细分。研究发现，Hadoo...

大数据思维原理是什么?笔者概括为10项原理。一、数据核心原理从“流程”核心转变为“数据”核心大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。例如：IBM将使用以数据为中心的设计，目的是降低在超级计算...

解读Hadoop发展现状、特性及发展前景，分享创作《Hadoop核心技术》一书的灵感来源以及经验感悟。问：首先请介绍下自已、目前所在公司以及负责的领域。翟周伟：北京邮电大学研究生毕业，目前任职于百度，主要从事网页搜索相关的大规模数据挖掘和自然语言处理领域相关研发工作。问：Hadoop在百度主要运用在哪些领域?使用情况是怎样的?翟周伟：Hadoop在百度的应用领域主要...

如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark、HDFS、MapReduce、Common之间是什么关系?我们刚刚搞懂服务器，数据库，C++，java等基础语言是个什么东西的时候，大数据时代来了，科技界又玩起Hadoop，HDFS，MapReduce，Common，Spark，Mahout，HBase，NoSQL，Cassandra，GFS, MapReduce, ...

把Hadoop用起来很容易，但是要“用好”很难。以下是关于如何用好Hadoop的9个问答详解，希望对大家有所帮助。问：Hadoop适不适用于电子政务?为什么?答：电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务肯定会产生相关的大量数据以及相应的计算需求，而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将...

数据的操作语言是SQL，因此很多工具的开发目标自然就是能够在Hadoop上使用SQL。这些工具有些只是在MapReduce之上做了简单的包装，有些则是在HDFS之上实现了完整的数据仓库，而有些则介于这两者之间。这样的工具有很多，来自于Shoutlet的软件开发工程师Matthew Rathbone最近发表了一篇文章，他列举了一些常用的工具并对各个工具的应用场景和未来进行了分析。Apache H...

第一个现象是大数据技术优先应用在采用SQL进行结构化数据处理上，来解决数据量增大带来的处理能力的挑战;这与很多人宣传的大数据技术最适合处理非结构化数据(而不适合结构化数据处理)相反。我们发现企业面临两方面的挑战，一方面是累积的数据量越来越大，从GB增长到了TB(拥有PB级的企业客户也有，但是少数)，另一方面，随着应用的增多和复杂化，计算能力越来越不能满足要求。大多数企业多年来根据业务需求在传统的关...

一句话介绍hadoop： Hadoop的核心由分布式文件系统HDFS与Map Reduce计算模型组成。一、理论知识预热一句话介绍hadoop： Hadoop的核心由分布式文件系统HDFS与Map/Reduce计算模型组成。(1)HDFS分布式文件系统HDFS由三个角色构成：1)NameNode2)DataNode：文件存储的基本单元，它将文件块block存储在本地文件系统...

1.智能睡眠眼镜：通过大数据调节睡眠一直以来，人们认为视网膜上只有两种细胞，视锥细胞和视杆细胞，这两类细胞作用于我们的神经，让我们得以看见东西。2002年，美国布朗大学发现，视网膜上还有另外一种细胞，也就是非成像视觉细胞，这种细胞与人类能看见什么没有关系，但是它能感受到时间的变化，感受到光的变化。该类细胞被发现后，美国顶尖医学院的约翰霍普金斯大学医学院通过更深入的研究发现，人体视网膜上...