![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
擎宇T
这个作者很懒,什么都没留下…
展开
-
大数据一些基础概念
一、大数据 1、什么是大数据? 大数据(Big data或Megadata):大数据,或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。 2、大数据特点 ①Volume:数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个原创 2018-01-22 22:50:42 · 4370 阅读 · 0 评论 -
大数据分布式系统原理概述
一、分布式系统的理论1、CAP原理 CAP原理指的是,一致性(Consistency)、可用性(Availability)、分区容忍性(Partition tolerance)这三个要素最多只能同时实现两点,不可能三者兼顾。因此在进行分布式架构设计时,必须做出取舍。而对于分布式数据系统,分区容忍性是基本要求 ,否则就失去了价值。因此设计分布式数据系统,就是在一致性和可用性之间取一个平衡。原创 2018-01-23 23:59:54 · 3211 阅读 · 0 评论 -
大数据—Hadoop之HDFS架构
HDFS架构 一、HDFS访问流程 读取数据操作:用户进行读取数据请求,首先传入Namenode数据块,Namenode将读写信息传给Client,再由Client根据Namenode所给的信息找到数据所在的Datanode,进行读取。 写入数据操作:用户进行写入数据请求,首先传入Namenode数据块,Namenode根据策略寻找出最合适的Da...原创 2018-01-24 19:37:51 · 405 阅读 · 0 评论 -
大数据—Hadoop的HDFS数据完整性校验
一、HDFS数据完整性 Hadoop提供两种校验 1.校验和 Hdfs会对写入的所有数据计算校验和,并在读取数据时验证校验和。元数据节点负责在验证收到的数据后,储存数据及其及其校验和。在收到客户端数据或复制其他datanode的数据时执行。正在写数据的客户端将数据及其校验和发送到一系列数据节点组成的管线,管线的最后一个数据节点负责验证校验和。...原创 2018-01-26 18:37:17 · 3808 阅读 · 0 评论 -
大数据—Hadoop之HDFS基于文件的数据结构
一、基于文件的数据结构 HDFS和MR主要针对大数据文件来设计,在小文件处理上效率低,解决方法是原则一个容器,将这些小文件包装起来,将整个文件作为一条记录,可以获取更高效率的储存和处理,避免多次打开关闭流耗费计算资源。 具体流程:①在原有HDFS基础上添加一个小文件处理模块。②当用户上传文件时,判断该文件是否属于小文件,如果是,则交给小文件处理模块处理,否则,交给通用文件处理模块处理...转载 2018-01-26 19:42:43 · 1185 阅读 · 0 评论 -
大数据—Hadoop之MapReduce机制和工作流程
MapReduce学习总结 1.Mapreduce是什么? Hadoop Mapreduce是一个软件框架,基于这个框架能够容易的编写应用程序,这些应用程序能够运行在上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行的处理上TB级别的海量数据集。Mapreduce具有:①软件框架②并行处理③可靠且容错④大规模集群⑤海量数据。 2.Map...原创 2018-01-28 22:31:25 · 1003 阅读 · 0 评论 -
大数据—Hadoop之MapReduce流程(二)
一、Combiner 为什么需要进行Map规范操作?①网络带宽严重被占降低程序效率②单一节点承载过重降低程序性能。为了解决两个问题,在MapReduce编程模型中,在Mapper和Reducer之间有一个非常重要的组件——Combiner。 ①与Mapper和Reduce不同的是,Combiner没有默认的实现,需要显式的设置在conf中才有作用。②并不是所有的job都使用Co...原创 2018-01-29 19:43:40 · 297 阅读 · 0 评论 -
大数据—Hadoop之MapReduce练习
一、单表索引 实现步骤:①map阶段将读入数据分割成child和parent之后,将parent设置成key,child设置成value进行输出,并作为左表;再将同一对child和parent中的child设置成key,parent设置成value进行输出,作为右表②为了区分输出中的左右表,需要在输出的value中再加上左右表的信息,比如在value的String最开始处加上字符...原创 2018-01-30 09:25:05 · 887 阅读 · 0 评论