大数据综合篇
我是一名程序猿
延青的格言:会当凌绝顶,一览众山小。
展开
-
大数据与云计算物联网的关系
云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系。云计算最初主要包含了两类含义:一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术;另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。但是,随着大数据概念的提出,云计算中的分布式计算技术开始更多地被列入大数据技术,而人们提到云计算时,更多指的是底层基础IT资源的整合优化...原创 2020-02-25 21:27:33 · 9732 阅读 · 0 评论 -
大数据中的物联网运用
物联网是新一代信息技术的重要组成部分,具有广泛的用途,同时和云计算、大数据有着千丝万缕的紧密联系。1.物联网的概念物联网是物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起,形成人与物、物与物相连,实现信息化和远程管理控制。从技术架构上来看,物联网可分为四层:感知层、网络层、处理层和应用层。每层的具体功能如下图...原创 2020-02-25 21:25:21 · 4972 阅读 · 0 评论 -
浅谈云计算
云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别。为了更好地理解三者之间的紧密关系,下面将简要介绍云计算和物联网的概念,再分析云计算、大数据和物联网的区别与联系。1. 云计算的概念云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。云计算代表了以虚拟化技术为核心、以低成本...原创 2020-02-25 21:16:53 · 1895 阅读 · 0 评论 -
深入了解大数据计算模式
1. 批处理计算批处理计算主要解决针对大规模数据的批量处理,也是我们日常数据分析工作中非常常见的一类数据处理需求。MapReduce是最具有代表性和影响力的大数据批处理技术,可以并行执行大规模数据处理任务,用于大规模数据集(大于1 TB)的并行运算。MapReduce极大地方便了分布式编程工作,它将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数——Map和Reduc...原创 2020-02-25 21:03:01 · 6574 阅读 · 0 评论 -
大数据计算模式有哪些
先总结汇总一下大数据有哪些计算模式:1. 批处理计算针对大规模数据的批量处理。主要技术有MapReduce、Spark等2. 流计算针对流数据的实时计算处理。主要技术:Storm、Flume、Streams、Puma、DStream、S4、SuperMario、银河流数据处理平台。3. 图计算针对大规模图结构数据的处理。主要技术:Pregel、GraphX、Giraph、P...原创 2020-02-25 20:55:20 · 20144 阅读 · 0 评论 -
大数据技术有哪些
数据的采集与处理利用 ETL 工具将分布的、异构数据源中的数据,如关系数据、平面数据文件等,抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础;也可以利用日志采集工具(如Flume、Kafka等)把实时采集的数据作为流计算系统的输入,进行实时处理分析。数据存储和管理利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库...原创 2020-02-25 20:48:13 · 1517 阅读 · 0 评论 -
PV、UV概念与理解
什么是PV值 PV(page view ) 是网站分析的一个术语,用以衡量网站用户访问的网页的数量。对于广告主,PV 值可预期它可以带来多少广告收入。一般来说,PV 与来访者的数量成正比,但是 PV 并不直接决定页面的真实来访者数量,如同一个来访者通过不断的刷新页面,也可以制造出非常高的 PV。 PV 即页面浏览量或点击量,是衡量一个网站或网页用户访问量。具体的说,...原创 2019-02-16 21:46:00 · 3192 阅读 · 0 评论 -
什么是大数据分析
大数据的宏观概念大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 [1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [2] 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提...原创 2019-02-16 21:52:35 · 4710 阅读 · 0 评论 -
大数据与墙的故事
在网站上看到这么一篇文章,转载过来和大家分享一下文章出处:https://baike.baidu.com/tashuo/browse/content?id=45bd8fd350d6aab5b6d81047&lemmaId=1356941&lemmaId=1356941&fr=qingtian文章标题为:大数据与墙的故事,给我的第一感觉就是这个标题写的很有趣,大数据是...转载 2019-02-16 22:05:29 · 1076 阅读 · 0 评论