大数据基础
大数据面试宝典
这个作者很懒,什么都没留下…
展开
-
HDFS故障类型和其检测方法
常见的故障三种 节点故障,通讯故障,数据损坏。节点故障主要关注DateNode的检查方法DateNode每三秒会向NameNode发送自己的心跳信息如果十分钟内NameNode没有收到心跳信息,就判定DataNode死亡通讯故障每当发送数据,接受者会回复一个应答信号如果没有收到应答信号(多次尝试),发送者就会认为主机已经挂掉,或发生网络错误数据损坏校验和-数据当向硬盘存储数据时,也会存储校验和...原创 2021-02-28 22:36:49 · 483 阅读 · 0 评论 -
HDFS架构的稳定性
1. 心跳机制和重新复制每个 DataNode 定期向 NameNode 发送心跳消息。如果超过指定时间没有收到心跳消息,则将 DataNode 标记为死亡。NameNode 不会将任何新的 IO 请求转发给标记为死亡的 DataNode,也不会再使用这些 DataNode 上的数据。由于数据不再可用,可能会导致某些块的副本个数小于其默认值,NameNode 会跟踪这些块,并在必要的时候进行重新复制.2. 数据的完整性由于存储设备故障等原因,存储在 DataNode 上的数据块也会发生损坏。为了原创 2021-02-28 00:01:29 · 233 阅读 · 0 评论 -
图解: 分布式的CAP原则
CAP原则又称CAP定理,指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可得兼。CAP原则是NOSQL数据库的基石。分布式系统的CAP理论:理论首先把分布式系统中的三个特性进行了如下归纳:一致性(C):在分布式系统中的所有数据备份,在同一时刻是否同样的值。(等同于所有...原创 2019-11-04 21:37:44 · 5254 阅读 · 1 评论 -
大数据为什么那么快?为什么要使用大数据而不使用传统数据?
前言:我们从与传统服务器的对比来进行今天的知识普及,从扩展性,分布式,可用性,以及计算模型来分析一下,大数据为什么这么快?传统数据大数据扩展性纵向扩展横向扩展分布式资源集中资源分布可用性单份数据数据复制模型移动数据移动计算程序文章目录1.扩展性对比传统数据纵向扩展大数据横向扩展2.分布式对比传统数据集中式计算传统数据集中式存储大数据...原创 2019-10-31 22:02:49 · 6922 阅读 · 0 评论 -
普通火车为什么没有高铁快?--分布式概念入门
先说一下火车与动车先来说一下我们为什么要来对比一下他们的最高速度:火车 – 160km/h和谐号 – 300km/h复兴号 – 400km/h我们用一张图表来看一下普通的老式火车为什么这么慢?同上,我么画一张图来看一下:这样图表示:普通火车的动力全部都压在了车头一个人身上,就像我们平时所说:**要想火车跑的快,全凭车头带!**但是火车头的动力再足,拉着几十个车厢跑,也是很...原创 2019-10-25 16:16:25 · 11011 阅读 · 1 评论 -
hadoop(HDFS)安装教程--简单易懂
文章目录1.准备工作2.开始安装获取hadoop安装包官方文档修改环境变量修改配置文件3.格式化HDFS4.开启HDFS关闭防火墙 并永久关闭(关闭开机自启)1.准备工作创建一个LInux虚拟机并安装CentOS6.9的镜像配置网卡信息安装JDK1.8在/root目录下创建两个文件夹software --> hadoop安装包上传位置app --> ha...原创 2019-10-25 15:30:18 · 8118 阅读 · 1 评论 -
拿番茄炒鸡蛋来讲解一下大数据项目的流程
文章目录1.先来想一个问题?番茄炒鸡蛋都需要做什么?2.先来分析一下西红柿炒鸡蛋原始的做法现代的做法3.大数据项目的流程举个例子:统计一下大一新生的男女比例4.大数据需要掌握的技术栈5.java学得不好的可以学习大数据吗?6.如何学好大数据?1.先来想一个问题?番茄炒鸡蛋都需要做什么?2.先来分析一下西红柿炒鸡蛋原始的做法↓↓↓↓要清洗一下!不可以这样煮的时候也不可...原创 2019-10-24 20:41:21 · 14068 阅读 · 8 评论 -
大数据入门之什么是大数据?
文章目录1.什么是大数据?字面意思:专业解释:再专业点:2.大数据的特点-- 4V(Volume,Velocity,Variety)?2.1Volume(大量)2.2 Velocity(高速)2.3 Variety(多样)2.4 Value(低价值密度)3.大数据主要做什么?4.大数据的应用场景1.什么是大数据?字面意思:大量的数据,海量的数据一般我们的数据都是以处理M丶G丶T等单位(一...原创 2019-10-23 11:03:34 · 5722 阅读 · 1 评论