![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
2019年3月
IT时代周刊
IT最新资讯分享,大数据是未来时代的产物
展开
-
10个大数据思维原理,你了解多少?
1、数据核心原理从“流程”核心转变为“数据”核心大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求,将改变IT系统的升级方式:从简单增量到架构变化。大数据下的新思维——计算模式的转变。例如:IBM将使用以数据为中心的设计,目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下,云计...原创 2019-05-18 11:50:22 · 1631 阅读 · 0 评论 -
大数据、物联网、智慧城市三者之间的关系
大数据的发展源于物联网技术的应用,并用于支撑智慧城市的发展。物联网技术作为互联网应用的拓展,正处于大发展阶段。大数据、物联网、智慧城市三者之间的关系简单来说就是:大数据的发展源于物联网技术的应用,并用于支撑智慧城市的发展。物联网技术作为互联网应用的拓展,正处于大发展阶段。物联网是智慧城市的基础,但智慧城市的范畴相比物联网而言更为广泛;智慧城市的衡量指标由大数据来体现,大数据促进智慧城市的发展;物...原创 2019-05-13 10:15:03 · 2440 阅读 · 0 评论 -
什么样的大数据才具有价值?
在短短的几十年里,“技术天才”与社会的关系已经改变:他们从关在屋里的孤独者变成救世主,从反社会者变成社会的最大希望。许多人现在似乎相信,理解我们这个世界的最佳方式,就是坐在电脑屏幕前分析我们称之为“大数据”的海量信息。关于这一点,我们只要看看 “谷歌流感趋势(Google Flu Trends)”。2008年,当谷歌推出这项服务时,硅谷的许多人将它鼓吹为表明大数据将很快淘汰传统分析方式的一个标志...原创 2019-05-13 10:13:33 · 883 阅读 · 0 评论 -
大数据和云计算是如何结合
由云计算提供的弹性和按需配置,为让企业组织能够试验和尝试解决大数据的新方法提供了核心力量。企业可以根据供应的基础设施,用不同的迭代方式尝试和操纵他们的数据。大数据的出现使业务智能真正地走入了21世纪。但事实上“大数据”词代表的并不是解决方案,而是一类问题。在这些PB数量级的数据中,隐藏着怎样的价值?我们从中能得什么,并且使之指导业务部署的方方面面。但这一巨大量数据实际上有用的没有多少。所以为了利...原创 2019-05-13 10:12:33 · 5512 阅读 · 0 评论 -
大数据和数据中心的对比分析
数据中心智能软件供应商CIRBA公布其效率和风险都在CIRBA6 1版上部署。CIRBA的效率和风险仪表盘包含了效率和频谱风险,提供了数据中心在环境上主机和虚拟机或客户独特的供应水平状态的视觉表现。PB级是多大?EB的确切位置从哪里来的?把这样的问题弄清楚大数据仍然是大生意。虽然有大量的话炒作"大数据".我不得不承认EMC的ChuckHollis的在规模和信息工厂效益的价值。统计 这有大量的博...原创 2019-05-13 10:11:04 · 1887 阅读 · 0 评论 -
大数据计算架构Hadoop、Spark和Storm 三者技术比较
从人工统计分析到电脑 大型机再到今天的分布式计算平台,数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构最火热的莫过于Hadoop,Spark和Storm这三种,而Spark和Storm这两个后起之秀更是抢了不少Hadoop的风头,也让网上逐渐开始有一种声音说Hadoop的日子已经快到头了。但究竟这三者之间是什么关系,未来大数据架构究竟该走向何方呢?短短几年时间,大数据这个词便已家...原创 2019-05-13 10:08:58 · 261 阅读 · 0 评论 -
大数据时代:hadoop对大数据处理的意义
Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构,大数据处理引擎尽可能的靠近存储,对例如像ETL这样的批处理操作相对合适,因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎,并将碎片任务发送(Map)到多个节点上,之后再以单个数据集的形式加载(Reduce)到数据仓库...原创 2019-05-12 16:47:43 · 5539 阅读 · 1 评论 -
大数据时代:大数据引擎或改变大数据竞争格局
对于传统企业而言,无需任何繁杂的技术手段,只需要接入百度大数据引擎,即可利用大数据去帮助现有业务进行升级和创新了。峰哥认为百度此举是在加大此次大数据台风的风力。换一种角度看,这也是百度为了快速丰富各行业数据库的做法。其实早些时候,另一个互联网巨头阿里巴巴也宣布过有关大数据的战略,将会重点挖掘大数据的商业价值,也就是所谓的“云端+大数据”。当然了,这样的机会腾讯也不会落下,从早期的QQ圈子...原创 2019-05-12 16:46:21 · 544 阅读 · 1 评论 -
大数据规划所需的五个步骤和三种能力
大数据规划有五个步骤,首先从业务驱动的角度,相关部门选择要解决和产生的业务场景。针对需求处理和采取整合这些场景需要的大数据。当然选择的重点是怎么使信息快速产生价值。大数据分析的未来将朝着更为普及化、更为实时的数据分析去迈进,也就是说“针对正确的人,在正确的时间,获得正确的信息”,从这个意义来说,它已经超越了技术本身,是更为接近业务层面的实时分析。对于一个成功企业来说,数据整合能...原创 2019-05-12 16:44:20 · 2965 阅读 · 0 评论 -
大数据时代:关于Hadoop12个事实
现如今,Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库,并以自己儿子的大象玩偶为其命名的时候,谁能想到它有一天会占据“大数据”技术的头把交椅呢。虽然Hadoop伴随大数据一同火爆起来,但相信还是有许多用户对于它不甚了解。在上周名的TDWI解决方案峰会中, TDWI研究主任兼行业分析师Philip R...原创 2019-05-12 16:42:34 · 235 阅读 · 1 评论 -
大数据时代:云安全策略4大窍门
云计算和大数据的结合可以说是天作之合。大数据需要灵活的计算环境,而后者可以快速、自动地进行扩展以支持海量数据。基础设施云可以精准地提供这些需求。但是无论什么时候对云计算展开讨论,我们都无法回避以下问题:针对大数据的云安全策略是什么?当在大数据使用案例中提及云安全策略时,我们希望任何安全解决方案都能够在不影响部署安全性的情况下提供与云一样的灵活性。在将大数据转移至云上时,以下四个...原创 2019-05-12 16:41:11 · 204 阅读 · 1 评论 -
大数据时代:大数据发展必备三个条件
大数据概念的横空出世,有赖于短短几年出现的海量数据。据统计,互联网上的数据每两年翻一番,而目前世界上90%以上的数据都是最近几年才产生的。当然,海量数据仅仅是“大数据”概念的一部分,只有具备4个“V”的特征,大数据的定义才算完整,而价值恰恰是决定大数据未来走向的关键。大数据时代:大数据发展三要素大数据的发展需要三个必要条件:数据源、数据交易、数据产生价值的过程。近年来,社交网络...原创 2019-05-12 16:39:36 · 7040 阅读 · 1 评论 -
大数据时代:该如何面对大数据来袭?
作为当今国际时尚热词,因其正在悄然影响和改变着人们生活的方方面面,而备受各国所瞩目。据国际有关研究表明,整个人类文明所获得的全部数据中,约有90%是近两年产生的,预计到2020年,全世界所产生的数据规模将可能达到今天的44倍之多,也正因为有了今天 “大数据的量”,才使得未来工业、农业、商业、科研、医疗、文化、国防、反恐等诸多领域能够产生新的时代跨越。然而,人们同时也格外担忧,该如何面对 ...原创 2019-05-12 16:30:49 · 1880 阅读 · 0 评论 -
大数据入门学习,如何定义大数据?
大数据(Big Data)指的是“不能现有的工具对于复杂、海量的数据集合进行提取、存储、搜索、分析、处理等”。在业界经常会用4个V(即Volume、Variety、Value、Velocity)来总结大数据的主要特征。大数据(Big Data)指的是“不能现有的工具对于复杂、海量的数据集合进行提取、存储、搜索、分析、处理等”。在业界经常会用4个V(即Volume、Variety、Value、Ve...原创 2019-05-13 10:16:41 · 339 阅读 · 0 评论 -
最好的大数据处理工具--Hadoop
架构大数据解决方案的软件工程师们都知道,业务分析有一项技术跨越了SQL数据库、NoSQL数据库,非结构化数据、面向文档数据存储及大型处理。如果你猜到了Hadoop,那你回答正确。Hadoop也是许多巨头公司具有的一个共性,如亚马逊、雅虎、AOL、Netflix、eBay、微软、谷歌、 Twitter和Facebook。IBM甚至是走在时常的前沿,促进Hadoop进行企业分析。此开源模型无处不在,它...原创 2019-05-13 10:19:25 · 288 阅读 · 0 评论 -
大数据操纵下的10大顶级黑科技
1.智能睡眠眼镜:通过大数据调节睡眠一直以来,人们认为视网膜上只有两种细胞,视锥细胞和视杆细胞,这两类细胞作用于我们的神经,让我们得以看见东西。2002年,美国布朗大学发现,视网膜上还有另外一种细胞,也就是非成像视觉细胞,这种细胞与人类能看见什么没有关系,但是它能感受到时间的变化,感受到光的变化。该类细胞被发现后,美国顶尖医学院的约翰霍普金斯大学医学院通过更深入的研究发现,人体视网膜上...原创 2019-05-18 11:49:03 · 2333 阅读 · 0 评论 -
大数据基础知识问答----spark篇
dfsSpark基于mapreduce算法实现的分布式计算,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。1.Spark基础知识1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopM...原创 2019-05-18 11:47:35 · 567 阅读 · 0 评论 -
Presto?还是 Hive? 你们知道大数据查询性能谁更强吗?
技术控们,你们知道大数据查询性能谁更强吗?经过对 Presto 和 Hive 的性能做了大量的对比测试,最终结果表明: Presto 的平均查询性能是 Hive 的 10 倍!由于 Presto 的数据源具有完全解耦、高性能,以及对 ANSI SQL 的支持等特性,使得 Presto 在 ETL、实时数据计算、 Ad-Hoc 查询和实时数据流分析等多个业务场景中均能发挥重要的作用。一、...原创 2019-05-18 11:45:49 · 696 阅读 · 0 评论 -
大数据工程师,你必须熟练运用的性能优化技术
最近几年一直参与大数据产品的研发,同时大数据产品在海量数据场景下其处理性能又是其主要的卖点和突破,所以个人在这几年经常忙于如何对大数据产品进行性能上面的优化,并且想通过本文和大家聊聊具体的几种比较常见大数据性能优化技术。常见的大数据性能优化技术一般分为两部分,其一是硬件和系统层面的观测,从而来发现具体的瓶颈,并进行硬件或者系统级的调整;其二是主要通过对软件具体使用方法的调整来实现优化。硬件...原创 2019-05-18 11:42:43 · 509 阅读 · 0 评论 -
Hadoop大数据系统的七大危险信号
大多数企业大数据应用案例尚处于实验和试点阶段,对于少数首次在生产环境部署Hadoop系统的用户来说,最常遇到的就是扩展问题,此类问题往往导致企业因噎废食,终止大数据应用项目。部署和扩展Hadoop系统是一件高度复杂的事情,如果用户能提前对Hadoop扩展可能会遇到的各种问题和危险信号有所了解,就能避免很多“救火”场面。在这里我还是要推荐下我自己建的大数据学习交流qq裙:5221893...原创 2019-05-18 11:41:11 · 152 阅读 · 0 评论 -
五大步骤帮你实现Hadoop价值最大化
你可能准备在公司启动一个大数据项目,但是你对Hadoop并不熟悉,并且不确定这样的项目是否可以带来价值。别着急,许多企业都会遇到类似的问题。企业在部署Hadoop时总会遇到一些问题。例如,企业要在生产环境中使用Hadoop,但是很难找到熟悉Sqoop、Hive、Pig和MapReduce编程语言的开发人员。为了使大数据项目中Hadoop的价值最大化,企业需要重视一些关键步骤。你可能准备在公司...原创 2019-05-18 11:40:17 · 118 阅读 · 0 评论 -
人人都需要知道 关于大数据最常见的10个问题
大数据正是因为数据的爆发式增长带来的一个新的课题内容,如何存储如今互联网时代所产生的海量数据,如何有效的利用分析这些数据等等。1、云计算与大数据是什么关系?云计算的关键词在于“整合”,无论你是通过现在已经很成熟的传统的虚拟机切分型技术,还是通过google后来所使用的海量节点聚合型技术,他都是通过将海量的服务器资源通过网络进行整合,调度分配给用户,从而解决用户因为存储计算资源不足所带来的问题...原创 2019-05-18 11:39:15 · 646 阅读 · 0 评论 -
大数据职位面试需要准备的知识
在面试大数据职位的时候,你会遇到多种问题(hdfs、map reduce、zookeeper、hadoop、hbase等等),当时你的内心是崩溃的。写下这篇文章的意义是提高你的面试成功率,让你用出洪荒之力,职业生涯进一步发展。1. hdfs原理,以及各个模块的职责Namenode 的目录结构:对于 任何对文件系统元数据产生修改 的操作, Namenode 都会...原创 2019-05-18 11:37:39 · 654 阅读 · 0 评论 -
大数据时代为什么都在谈Hadoop?
“为什么很多公司都采用Hadoop方案处理大数据业务”,引来很多回答,笔者整理如下,其观点或有时而可商,欢迎讨论。先说一说什么样的公司比较倾向于使用Hadoop。有人认为,使用Hadoop的前提是自身有没有收集并分析数据的需要,并且数据量是否一直在增长并且不可丢弃。目前看起来,此类数据多数为日志数据,分析用户习惯,或者就是传感器之类的数据,分析环境等监控内容的变化规律。也有很多公司不使用...原创 2019-05-17 10:27:53 · 359 阅读 · 0 评论 -
大数据未来七大发展趋势
大数据处理离不开云计算技术,云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,大数据则为云计算提供了新的商业价值。趋势一:与云计算深度融合大数据处理离不开云计算技术,云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,大数据则为云计算提供了新的商业价值,因此,从2013年开始,大数据技术与云计算技术必然进入更完美的结合期。总体而言,云计算、物联网、移动互联...原创 2019-05-13 10:23:36 · 1968 阅读 · 0 评论 -
大数据与云计算:进入技术爆发期
被称作第三次IT浪潮的云计算,带来生活、生产方式和商业模式的根本性改变,成为当前全社会关注的热点。随着“宽带中国”战略的落地,云计算与大数据技术作为信息化转型升级的新引擎,已逐渐进入技术爆发期。IDC日前对2014年的科技行业9大趋势进行了预测,云计算榜上有名。权威机构将我国云计算的发展分为三个阶段,而目前国内的云计算市场正由成长期逐渐迈入成熟期。2014年同样是大数据发展更加迅速的一年,越来...原创 2019-05-13 10:22:17 · 3550 阅读 · 1 评论 -
如何有效利用大数据?
从不为人知,再到被神化,过度的炒作已经偏离了对大数据本质的认识。从本质上说,数据本身并不具有意义,有时尽管数据量庞大,但是使用价值却不大。可以说谷歌拥有最多的数据来源,它一直想知道每个媒介在一个人对品牌从认识到考虑到最后购买,分别起到了怎样的作用。但即便像谷歌在广告和搜索方面下了很大的努力,也无法描绘出一幅完整的视图,因为还有更多其他媒介是它无法掌握的。因此如何能够打通所有的媒体,从广告商的角...原创 2019-05-13 10:20:41 · 1694 阅读 · 0 评论 -
Hadoop需求下降 其他大数据技术正在发展
虽然Hadoop经常被认为是大数据的代名词,但事实似乎并不是这样。根据最新Gartner报告显示,尽管人们对大数据持续热情,但对Hadoop的需求并没有加速。根据这项调查显示,大多数现在没有计划投资于Hadoop,只有26%已经部署或者正在试验Hadoop。然而,他们都正在积极拥抱其他大数据技术。对Hadoop“相当疲弱”的兴趣出于各种各样的原因,缺乏Hadoop技能为最大的原因(57...原创 2019-05-16 10:40:43 · 248 阅读 · 0 评论 -
大数据之hadoop伪集群搭建与MapReduce编程入门
一句话介绍hadoop: Hadoop的核心由分布式文件系统HDFS与Map Reduce计算模型组成。一、理论知识预热一句话介绍hadoop: Hadoop的核心由分布式文件系统HDFS与Map/Reduce计算模型组成。(1)HDFS分布式文件系统HDFS由三个角色构成:1)NameNode2)DataNode:文件存储的基本单元,它将文件块block存储在本地文件系统...原创 2019-05-16 10:40:00 · 248 阅读 · 0 评论 -
Spark是Hadoop生态中新的处理和分析引擎
英特尔大数据首席架构师 戴金权在戴金权看来,Hadoop将MapReduce分布式计算和大数据技术带入主流应用。但随着大数据需求和使用模式的推广,Hadoop已经暴露诸多局限性。特别是越来越多的数据应用,如需要对数据进行准实时的深度挖掘和分析时,业内需要超越MapReduce的全新大数据分析模式。也正是看准了Spark的发展趋势,英特尔早在2-3年前就已经和UC Berkeley一起紧密合...原创 2019-05-15 10:25:40 · 351 阅读 · 0 评论 -
大数据到底是什么?教你快速读懂大数据
全社会都对大数据的概念很痴迷,动辄“大数据告诉你……”但是大数据到底是什么呢?说到定义,恐怕仁者见仁、智者见智。不过从处理技术上来看,大数据意味着大量的和复杂的数据,它是不能够使用传统的数据库管理工具进行管理的。而且,要被划分为大数据范畴,那数据的大小应该在pb级以上,且呈现指数级增长。大数据已经吸引了大多数企业的注意力,,因为它颠覆了传统的商业策略,以适应不断变化的时代,这个过程中产生了更...原创 2019-05-15 10:18:48 · 436 阅读 · 0 评论 -
未来企业IT三大要务:安全、移动和大数据
在颠覆性技术层出不穷,商业创新空前活跃的今天,战略方向比过去任何时候都更加重要,这主要表现为对新技术优先级的判断。近日Tech Pro Research发起了一项在线调查显示,418名企业CXO级别高管和部门级人员参与了调查,结果显示企业高管和非高管人员对未来三年企业面临的重点技术趋势的判断大致相当,但也有些分歧:但是所有人都不约而同地将提升IT安全视作未来三年最重要的IT要务:...原创 2019-05-14 11:14:04 · 282 阅读 · 0 评论 -
大数据行业最顶尖明星人才TOP20
大数据不只是要处理很多的数字,还得要通过这些数字建立模型、深入挖掘,并且寻找那些有可能改变企业运营方式的信息。以下谨为大家介绍20位大数据领域的顶尖人才。大数据不只是要处理很多的数字,还得要通过这些数字建立模型、深入挖掘,并且寻找那些有可能改变企业运营方式的信息。以下谨为大家介绍20位大数据领域的顶尖人才。Pinterest数据科学家安德莉亚·伯班克Pintere...原创 2019-05-14 11:11:28 · 2597 阅读 · 0 评论 -
大数据的未来:人类与机器人之间的纠葛?
人类从未对自己的认知能力满意过。也正因为此,过目不忘,一目十行,上知天文下知地理,一直被看做是人类进阶版本的一个典范。计算机早就做到了这一点。最近,在阿里巴巴的数据开放日中,我会面了数位数据科学家。当他们描述大数据未来能力的时候,我就会想到人类的局限。认知科学的未来,必然是计算机与人类的完美结合。但是,这个结合,应该是什么样的?数据越来越多,而人类的解读能力是固定的,人会累,会无法完全理...原创 2019-05-14 11:10:14 · 352 阅读 · 0 评论 -
大数据入门学习必知12种工具
无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具。这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具。在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为程序员带来先进的数据分析能力。有时候,程序员们会使用简单的脚本开发出强大的显示效果,或者在开发过程中使用...原创 2019-05-14 11:08:29 · 281 阅读 · 0 评论 -
如何成功的实现大数据项目架构?
目前并没有像之前被广泛宣传的那样,存在大数据的成功实现。在这一点上,我觉得这是由IT部门导致的。多数大数据项目的问题是由于技术人员(而不是业务人员)缺乏对于架构调整的理解和对未来商业的憧憬而造成的。本文作者Armel Nene大数据公司ETAPIX Global创始人,在软件开发和数据架构领域有多年经验,熟悉Java、SOA、BI、企业搜索和数据仓库,同时也是开源贡献者,曾在诺基亚、Ta...原创 2019-05-14 11:06:56 · 376 阅读 · 0 评论 -
关于大数据的十大重要事实
大数据是当今一个最热门的话题,我们每一个人都无法置身其外。调研公司IDC 的定义可能比较容易被人们所接受。它对大数据的定义是:一种新一代的技术和架构,具备高效率的捕捉、发现和分析能力,能够经济地从类型繁杂、数量庞大的数据中挖掘出色价值。大数据已经成为各类大会的重要议题,管理人士们都不愿错过这一新兴趋势。毫无疑问,当未来企业尝试分析现有海量信息以推动业务价值增值时,必定会采用大数据技术。...原创 2019-05-14 11:05:20 · 722 阅读 · 0 评论 -
Hadoop技术离广泛普及还有多远
我们是Hadoop很早期的用户。我认为现在Hadoop的应用已经很广泛了。我认为Hadoop一定会得到普及,只是还需要一些时间。Hadoop架构会在企业内大规模实行吗?因为有时看起来它难以突破自己细分领域技术的局限。Joe Caserta:我们是Hadoop很早期的用户。我认为现在Hadoop的应用已经很广泛了。我认为Hadoop一定会得到普及,只是还需要一些时间。首先,目前的技术,比...原创 2019-05-14 11:04:09 · 217 阅读 · 0 评论 -
用互联网思维看待大数据
大数据在移动互联网时代显得越来越重要,一方面是因为用户的习惯碎片化的趋势明显,另一方面是因为在营销多元化情况下用户选择繁多。在大家都在探讨互联网思维的时候,如何用互联网思维来看待庞杂的大数据是人们需要思考的关键。互联网思维看待大数据其实是万变不离其宗即离不开的数据挖掘和分析应用。个人数据才是大未来如今很多数据都通过洲际间海底光缆来传输,这是地理位置之间的传输。但今后很多数据会留在本地进行...原创 2019-05-14 11:02:50 · 765 阅读 · 0 评论 -
大数据处理的四大步骤
大数据时代处理数据理念的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。 大数据处理的流程具体的大数据处理方法确实有很多,但是根据笔者长时间的实践,总结了一个普遍适用的大数据处理流程,并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步,分别是采集、导入和预处理、统计和分析,最后是数据挖掘。 大数据处理之一:采集 大数据的采集是指利用多个...原创 2019-05-14 11:01:16 · 16359 阅读 · 0 评论