IT时代周刊

随着互联网技术的发展，近两年，大数据和云计算越来被重视，各大网络巨头更是纷纷投资大数据和云计算领域，那么关于云计算的一些知识就有必要做一些普及，下面是一些IT人士不可不知的云计算知识。云计算的分类1、基础设施云(Infrastructure Cloud):为用户提供的是底层的、接近于直接操作硬件资源的服务接口，通过调用这些接口，用户可以直接获得计算和存储能力，而且相当灵活自如，几乎不受逻辑上的...

从人工统计分析到电脑 大型机再到今天的分布式计算平台，数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构最火热的莫过于Hadoop，Spark和Storm这三种，而Spark和Storm这两个后起之秀更是抢了不少Hadoop的风头，也让网上逐渐开始有一种声音说Hadoop的日子已经快到头了。但究竟这三者之间是什么关系，未来大数据架构究竟该走向何方呢?短短几年时间，大数据这个词便已家...

数据中心智能软件供应商CIRBA公布其效率和风险都在CIRBA6 1版上部署。CIRBA的效率和风险仪表盘包含了效率和频谱风险，提供了数据中心在环境上主机和虚拟机或客户独特的供应水平状态的视觉表现。PB级是多大？EB的确切位置从哪里来的？把这样的问题弄清楚大数据仍然是大生意。虽然有大量的话炒作"大数据".我不得不承认EMC的ChuckHollis的在规模和信息工厂效益的价值。统计 这有大量的博...

由云计算提供的弹性和按需配置，为让企业组织能够试验和尝试解决大数据的新方法提供了核心力量。企业可以根据供应的基础设施，用不同的迭代方式尝试和操纵他们的数据。大数据的出现使业务智能真正地走入了21世纪。但事实上“大数据”词代表的并不是解决方案，而是一类问题。在这些PB数量级的数据中，隐藏着怎样的价值?我们从中能得什么，并且使之指导业务部署的方方面面。但这一巨大量数据实际上有用的没有多少。所以为了利...

在短短的几十年里，“技术天才”与社会的关系已经改变：他们从关在屋里的孤独者变成救世主，从反社会者变成社会的最大希望。许多人现在似乎相信，理解我们这个世界的最佳方式，就是坐在电脑屏幕前分析我们称之为“大数据”的海量信息。关于这一点，我们只要看看 “谷歌流感趋势（Google Flu Trends）”。2008年，当谷歌推出这项服务时，硅谷的许多人将它鼓吹为表明大数据将很快淘汰传统分析方式的一个标志...

大数据的发展源于物联网技术的应用，并用于支撑智慧城市的发展。物联网技术作为互联网应用的拓展，正处于大发展阶段。大数据、物联网、智慧城市三者之间的关系简单来说就是：大数据的发展源于物联网技术的应用，并用于支撑智慧城市的发展。物联网技术作为互联网应用的拓展，正处于大发展阶段。物联网是智慧城市的基础，但智慧城市的范畴相比物联网而言更为广泛;智慧城市的衡量指标由大数据来体现，大数据促进智慧城市的发展;物...

大数据(Big Data)指的是“不能现有的工具对于复杂、海量的数据集合进行提取、存储、搜索、分析、处理等”。在业界经常会用4个V(即Volume、Variety、Value、Velocity)来总结大数据的主要特征。大数据(Big Data)指的是“不能现有的工具对于复杂、海量的数据集合进行提取、存储、搜索、分析、处理等”。在业界经常会用4个V(即Volume、Variety、Value、Ve...

架构大数据解决方案的软件工程师们都知道，业务分析有一项技术跨越了SQL数据库、NoSQL数据库，非结构化数据、面向文档数据存储及大型处理。如果你猜到了Hadoop，那你回答正确。Hadoop也是许多巨头公司具有的一个共性，如亚马逊、雅虎、AOL、Netflix、eBay、微软、谷歌、 Twitter和Facebook。IBM甚至是走在时常的前沿，促进Hadoop进行企业分析。此开源模型无处不在，它...

从不为人知，再到被神化，过度的炒作已经偏离了对大数据本质的认识。从本质上说，数据本身并不具有意义，有时尽管数据量庞大，但是使用价值却不大。可以说谷歌拥有最多的数据来源，它一直想知道每个媒介在一个人对品牌从认识到考虑到最后购买，分别起到了怎样的作用。但即便像谷歌在广告和搜索方面下了很大的努力，也无法描绘出一幅完整的视图，因为还有更多其他媒介是它无法掌握的。因此如何能够打通所有的媒体，从广告商的角...

被称作第三次IT浪潮的云计算，带来生活、生产方式和商业模式的根本性改变，成为当前全社会关注的热点。随着“宽带中国”战略的落地，云计算与大数据技术作为信息化转型升级的新引擎，已逐渐进入技术爆发期。IDC日前对2014年的科技行业9大趋势进行了预测，云计算榜上有名。权威机构将我国云计算的发展分为三个阶段，而目前国内的云计算市场正由成长期逐渐迈入成熟期。2014年同样是大数据发展更加迅速的一年，越来...

大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值。趋势一：与云计算深度融合大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值，因此，从2013年开始，大数据技术与云计算技术必然进入更完美的结合期。总体而言，云计算、物联网、移动互联...

“为什么很多公司都采用Hadoop方案处理大数据业务”，引来很多回答，笔者整理如下，其观点或有时而可商，欢迎讨论。先说一说什么样的公司比较倾向于使用Hadoop。有人认为，使用Hadoop的前提是自身有没有收集并分析数据的需要，并且数据量是否一直在增长并且不可丢弃。目前看起来，此类数据多数为日志数据，分析用户习惯，或者就是传感器之类的数据，分析环境等监控内容的变化规律。也有很多公司不使用...

在面试大数据职位的时候，你会遇到多种问题(hdfs、map reduce、zookeeper、hadoop、hbase等等)，当时你的内心是崩溃的。写下这篇文章的意义是提高你的面试成功率，让你用出洪荒之力，职业生涯进一步发展。1. hdfs原理，以及各个模块的职责Namenode 的目录结构：对于 任何对文件系统元数据产生修改 的操作， Namenode 都会...

大数据正是因为数据的爆发式增长带来的一个新的课题内容，如何存储如今互联网时代所产生的海量数据，如何有效的利用分析这些数据等等。1、云计算与大数据是什么关系?云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题...

你可能准备在公司启动一个大数据项目，但是你对Hadoop并不熟悉，并且不确定这样的项目是否可以带来价值。别着急，许多企业都会遇到类似的问题。企业在部署Hadoop时总会遇到一些问题。例如，企业要在生产环境中使用Hadoop，但是很难找到熟悉Sqoop、Hive、Pig和MapReduce编程语言的开发人员。为了使大数据项目中Hadoop的价值最大化，企业需要重视一些关键步骤。你可能准备在公司...

大多数企业大数据应用案例尚处于实验和试点阶段，对于少数首次在生产环境部署Hadoop系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致企业因噎废食，终止大数据应用项目。部署和扩展Hadoop系统是一件高度复杂的事情，如果用户能提前对Hadoop扩展可能会遇到的各种问题和危险信号有所了解，就能避免很多“救火”场面。在这里我还是要推荐下我自己建的大数据学习交流qq裙：5221893...

最近几年一直参与大数据产品的研发，同时大数据产品在海量数据场景下其处理性能又是其主要的卖点和突破，所以个人在这几年经常忙于如何对大数据产品进行性能上面的优化，并且想通过本文和大家聊聊具体的几种比较常见大数据性能优化技术。常见的大数据性能优化技术一般分为两部分，其一是硬件和系统层面的观测，从而来发现具体的瓶颈，并进行硬件或者系统级的调整;其二是主要通过对软件具体使用方法的调整来实现优化。硬件...

技术控们，你们知道大数据查询性能谁更强吗?经过对 Presto 和 Hive 的性能做了大量的对比测试，最终结果表明： Presto 的平均查询性能是 Hive 的 10 倍!由于 Presto 的数据源具有完全解耦、高性能，以及对 ANSI SQL 的支持等特性，使得 Presto 在 ETL、实时数据计算、 Ad-Hoc 查询和实时数据流分析等多个业务场景中均能发挥重要的作用。一、...

Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务发送(Map)到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库...

对于传统企业而言，无需任何繁杂的技术手段，只需要接入百度大数据引擎，即可利用大数据去帮助现有业务进行升级和创新了。峰哥认为百度此举是在加大此次大数据台风的风力。换一种角度看，这也是百度为了快速丰富各行业数据库的做法。其实早些时候，另一个互联网巨头阿里巴巴也宣布过有关大数据的战略，将会重点挖掘大数据的商业价值，也就是所谓的“云端+大数据”。当然了，这样的机会腾讯也不会落下，从早期的QQ圈子...

大数据规划有五个步骤，首先从业务驱动的角度，相关部门选择要解决和产生的业务场景。针对需求处理和采取整合这些场景需要的大数据。当然选择的重点是怎么使信息快速产生价值。大数据分析的未来将朝着更为普及化、更为实时的数据分析去迈进，也就是说“针对正确的人，在正确的时间，获得正确的信息”，从这个意义来说，它已经超越了技术本身，是更为接近业务层面的实时分析。对于一个成功企业来说，数据整合能...

大数据时代处理数据理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。　　大数据处理的流程具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。　　大数据处理之一：采集　　大数据的采集是指利用多个...

大数据在移动互联网时代显得越来越重要，一方面是因为用户的习惯碎片化的趋势明显，另一方面是因为在营销多元化情况下用户选择繁多。在大家都在探讨互联网思维的时候，如何用互联网思维来看待庞杂的大数据是人们需要思考的关键。互联网思维看待大数据其实是万变不离其宗即离不开的数据挖掘和分析应用。个人数据才是大未来如今很多数据都通过洲际间海底光缆来传输，这是地理位置之间的传输。但今后很多数据会留在本地进行...

我们是Hadoop很早期的用户。我认为现在Hadoop的应用已经很广泛了。我认为Hadoop一定会得到普及，只是还需要一些时间。Hadoop架构会在企业内大规模实行吗?因为有时看起来它难以突破自己细分领域技术的局限。Joe Caserta：我们是Hadoop很早期的用户。我认为现在Hadoop的应用已经很广泛了。我认为Hadoop一定会得到普及，只是还需要一些时间。首先，目前的技术，比...

大数据是当今一个最热门的话题，我们每一个人都无法置身其外。调研公司IDC 的定义可能比较容易被人们所接受。它对大数据的定义是：一种新一代的技术和架构，具备高效率的捕捉、发现和分析能力，能够经济地从类型繁杂、数量庞大的数据中挖掘出色价值。大数据已经成为各类大会的重要议题，管理人士们都不愿错过这一新兴趋势。毫无疑问，当未来企业尝试分析现有海量信息以推动业务价值增值时，必定会采用大数据技术。...

目前并没有像之前被广泛宣传的那样，存在大数据的成功实现。在这一点上，我觉得这是由IT部门导致的。多数大数据项目的问题是由于技术人员(而不是业务人员)缺乏对于架构调整的理解和对未来商业的憧憬而造成的。本文作者Armel Nene大数据公司ETAPIX Global创始人，在软件开发和数据架构领域有多年经验，熟悉Java、SOA、BI、企业搜索和数据仓库，同时也是开源贡献者，曾在诺基亚、Ta...

无论是在构建大数据的应用程序，还是仅仅只想从开发的移动应用中得到一点点启发，程序员现在比以往任何时候都需要数据分析工具。这绝对是一个好东西，所以很多公司从程序员的需求和技能出发，构建了一些数据分析工具。在过去的几年里，Derrick看到了很多初创公司，各类项目以及开发工具等等，它们都旨在为程序员带来先进的数据分析能力。有时候，程序员们会使用简单的脚本开发出强大的显示效果，或者在开发过程中使用...

全社会都对大数据的概念很痴迷，动辄“大数据告诉你……”但是大数据到底是什么呢?说到定义，恐怕仁者见仁、智者见智。不过从处理技术上来看，大数据意味着大量的和复杂的数据,它是不能够使用传统的数据库管理工具进行管理的。而且，要被划分为大数据范畴,那数据的大小应该在pb级以上，且呈现指数级增长。大数据已经吸引了大多数企业的注意力，,因为它颠覆了传统的商业策略,以适应不断变化的时代,这个过程中产生了更...

英特尔大数据首席架构师 戴金权在戴金权看来，Hadoop将MapReduce分布式计算和大数据技术带入主流应用。但随着大数据需求和使用模式的推广，Hadoop已经暴露诸多局限性。特别是越来越多的数据应用，如需要对数据进行准实时的深度挖掘和分析时，业内需要超越MapReduce的全新大数据分析模式。也正是看准了Spark的发展趋势，英特尔早在2-3年前就已经和UC Berkeley一起紧密合...

百度研究院副院长，深度学习实验室主任，图片搜索部高级总监余凯发表的演讲“大数据人工智能”。百度研究院副院长，深度学习实验室主任，图片搜索部高级总监 余凯以下为演讲实录：下面，我可能更多从实践的方面去跟大家分享一下百度在大数据、人工智能我们最近的一些工作，包括我们对这些方面的一些思考。2014年8月14日，麻省理工学院科技评论杂志介绍百度的人工智能之梦，文章题目叫《一个中国互联网...

大数据公司早已具有影响世界的能力，只不过这些现实并没有放到正面的大舞台上才让人们觉得这些公司很低调。而如今，低调已不再需要，是时候展现大数据在这个时代的威力了。目前全球大数据企业主要分为两大阵营。一部分属于单纯以大数据技术为核心的新兴企业，希望为市场带来创新方案并推动技术发展。另有一些原本打理数据库/数据仓储业务的老牌厂商，他们打算利用自身优势地位冲击大数据领域，将现有安装基础及产...

随着大数据的快速发展，未来五年内，数据量和数据类型都会快速增长，那时，PB级的数据量已经不能被称为大数据了。随着数据的猛增，企业对数据分析和存储能力的需求必然大幅上升。相对于传统数据库和数据仓库技术，Hadoop的优势在于将数据分析和存储平民化。美国联合市场研究(AlliedMarketResearch)机构近日预测，到2020年，Hadoop的市场价值会超过500亿。Hadoop技...

在互联网高速发展的今天，很多人还没有搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联网的时候，大数据时代又来了。大数据已经无处不在，随之而来的就是大数据技术人才的急需，以下是关于大数据技术的面试问题，大家可以再面试前参考。单项选择题1. 下面哪个程序负责 HDFS 数据存储。a)NameNode b)Jobtracker c)Datanode d)second...

作为当今国际时尚热词，因其正在悄然影响和改变着人们生活的方方面面，而备受各国所瞩目。据国际有关研究表明，整个人类文明所获得的全部数据中，约有90%是近两年产生的，预计到2020年，全世界所产生的数据规模将可能达到今天的44倍之多，也正因为有了今天 “大数据的量”，才使得未来工业、农业、商业、科研、医疗、文化、国防、反恐等诸多领域能够产生新的时代跨越。然而，人们同时也格外担忧，该如何面对 ...

大数据概念的横空出世，有赖于短短几年出现的海量数据。据统计，互联网上的数据每两年翻一番，而目前世界上90%以上的数据都是最近几年才产生的。当然，海量数据仅仅是“大数据”概念的一部分，只有具备4个“V”的特征，大数据的定义才算完整，而价值恰恰是决定大数据未来走向的关键。大数据时代:大数据发展三要素大数据的发展需要三个必要条件：数据源、数据交易、数据产生价值的过程。近年来，社交网络...

云计算和大数据的结合可以说是天作之合。大数据需要灵活的计算环境，而后者可以快速、自动地进行扩展以支持海量数据。基础设施云可以精准地提供这些需求。但是无论什么时候对云计算展开讨论，我们都无法回避以下问题：针对大数据的云安全策略是什么?当在大数据使用案例中提及云安全策略时，我们希望任何安全解决方案都能够在不影响部署安全性的情况下提供与云一样的灵活性。在将大数据转移至云上时，以下四个...

现如今，Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库，并以自己儿子的大象玩偶为其命名的时候，谁能想到它有一天会占据“大数据”技术的头把交椅呢。虽然Hadoop伴随大数据一同火爆起来，但相信还是有许多用户对于它不甚了解。在上周名的TDWI解决方案峰会中， TDWI研究主任兼行业分析师Philip R...

dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。1.Spark基础知识1.Spark是什么？UCBerkeley AMPlab所开源的类HadoopM...