hadoop学习
文章平均质量分 71
牛逸凡
不断探索中。
展开
-
HDFS读写过程的详细分析
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三个),以此来实现多机器上的多用户分享文件和存储空间。HDFS特点: ① 保存多个副本,...原创 2018-07-17 15:34:15 · 309 阅读 · 0 评论 -
学习Hadoop环境搭建必读
前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop...原创 2018-07-13 13:30:18 · 472 阅读 · 1 评论 -
hadoop集群的搭建
一、集群环境准备工作 1、修改主机名 在root 账户下 vi /etc/sysconfig/network 或者 sudo vi /etc/sysconfig/network 2、设置系统默认启动级别 在 root 账号下输入 vi /etc/inittab 将默认的5改为3即可 3、配置hadoop用户 sudoer权限 ...原创 2018-07-13 14:24:52 · 267 阅读 · 0 评论 -
hadoop,HDFS基础使用
一、HDFS前言 1、 设计思想 分而治之:将大文件,大批量文件,分布式的存放于大量服务器上。以便于采取分而治之的方式对海量数据进行运算分析 2、 在大数据系统架构中的应用 为各类分布式运算框架( MapReduce, Spark, Tez, Flink, …)提供数据存储服务 3、 重点概念: 数据块, 负载均衡, 心跳机制, 副本...原创 2018-07-13 14:25:21 · 347 阅读 · 0 评论 -
hadoop,HDFS的核心设计
一、hadoop心跳机制(heartbeat) 1、 Hadoop 是 Master/Slave 结构, Master 中有 NameNode 和 ResourceManager, Slave 中有 Datanode 和 NodeManager 2、 Master 启动的时候会启动一个 IPC( Inter-Process Comunication,进程间通信) server ...原创 2018-07-13 14:25:39 · 167 阅读 · 0 评论 -
hadoop,HDFS原理剖析
一、HDFS的工作机制 工作机制的学习主要是为加深对分布式系统的理解,以及增强遇到各种问题时的分析解决能 力,形成一定的集群运维能力PS:很多不是真正理解 hadoop 工作原理的人会常常觉得 HDFS 可用于网盘类应用,但实际 并非如此。要想将技术准确用在恰当的地方,必须对技术有深刻的理解 概述 1、 HDFS 集群分为两大角色: NameNode、 DataNode (Secon...原创 2018-07-13 14:26:00 · 287 阅读 · 0 评论