大数据
文章平均质量分 66
是一只萨摩耶
编程很枯燥,但是养只修勾一定很有趣
展开
-
怎样理解大数据概念?大数据有什么用处?
什么是大数据?高速发展的信息时代,新一轮科技革 命和变革正在加速推进 ,技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量,而“大数据”无疑是核心推动力。那么,大数据是什么意思呢?如果从字面意思来看,大数据指的是巨量数据。那么可能有人会问,多大量级的数据才叫大数据?不同的机构或学者有不同的理解,难以有一个非常定量的定义,只能说,大数据的计量单位已经越过TB级别发展到PB、EB、ZB、YB甚至BB级别。最早提出“大数据”这一概念的 是全球知名咨询公司麦肯锡,它是这样定义大数据的:一种规模大到在转载 2021-05-04 15:13:51 · 1404 阅读 · 0 评论 -
大数据的两种计算框架优劣对比,哪个更适合开发?
Hadoop与Spark两者都是大数据计算框架,但是两者各自都有自己的优势,关于Spark与Hadoop的对比,主要有以下几点:1. 编程方式Hadoop的MapReduce在计算数据时,计算过程必须要转化为Map和Reduce两个过程,从而难以描述复杂的数据处理过程;而Spark的计算模型不局限于Map和Reduce操作,还提供了多种数据集的操作类型,编程模型比MapReduce更加灵活。2. 数据存储Hadoop的MapReduce进行计算时,每次产生的中间结果都是存储在本地磁盘中;而Spark原创 2021-04-27 17:26:13 · 298 阅读 · 0 评论 -
浅谈大数据
研究大数据有什么意义?现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流也越来越密切,生活也越来越便捷,大数据就是这个高科技时代的产物。阿里巴巴创办人马云曾经说过,未来的时代将不是IT时代,而是DT的时代,DT就是Data Technology,数据科技,这显示出大数据对于阿里巴巴集团来说是举足轻重的。有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在于“大”,而在于“有用”。数据的价值含量、挖掘成原创 2021-04-27 17:13:30 · 301 阅读 · 0 评论 -
大数据基本的业务分析应该包括哪些流程?怎样收集数据?
典型的大数据分析包含以下几个步骤: 大数据入门基础全套教程 (1)明确分析目的和思路明确数据分析目的以及确定分析思路,是确保数据分析过程有效进行的先决条件,它可以为数据的收集、处理及分析提供清晰的指引方向。目的是整个分析流程的起点。目的不明确则会导致方向性的错误。即思考:为什么要开展数据分析,通过这次数据分析要解决什么问题?当明确目的后,就要校理分析思路,并搭建分析框架,把分析目原创 2021-04-26 17:30:14 · 1164 阅读 · 0 评论 -
MySQL数据库
初学小白,从零带你掌握mysql数据库MySQL从基础到黑马订单案例实战MySQL数据库怎样分区分表?分区:就是把一张表的数据分成N个区块,在逻辑上看最终只是一张表,但底层是由N个物理区块组成的分表:就是把一张表按一定的规则分解成N个具有独立存储空间的实体表。系统读写时需要根据定义好的规则得到对应的字表明,然后操作它分表可以通过三种方式:MySQL集群、自定义规则(根据一定的算法(如用hash的方式,也可以用求余(取模)的方式)让用户访问不同的表。)和merge存储引擎。分区有四类:RANGE原创 2021-04-15 14:18:24 · 109 阅读 · 0 评论 -
Hadoop实现join的几种方法【大数据开发面试】
问题分析本题主要是考察学员对mapreduce的熟悉程度核心答案讲解(1)reduce side joinreduce side join是一种最简单的join方式,其主要思想如下:在map阶段,map函数同时读取两个文件File1和File2,为了区分两种来源的key/value数据对,对每条数据打一个标签 (tag),比如:tag=0表示来自文件File1,tag=2表示来自文件File2。即:map阶段的主要任务是对不同文件中的数据打标签。在reduce阶段,reduce函数获取key相同转载 2021-04-12 15:34:53 · 149 阅读 · 1 评论