Hadoop
幸运的天才小驴
一个大冬瓜
展开
-
大数据之路-Hadoop-5-HDFS原理解析及NameNode、DataNode工作机制
一HDFS的工作机制1 概述二HDFS写数据流程1 概述2 详细步骤图3 详细步骤解析三HDFS读数据流程1 概述2 详细步骤图3 详细步骤解析四NameNode工作机制1 问题场景2 NameNode的职责3 元数据管理31 元数据存储机制32 元数据手动查看33 元数据checkpoint34 元数据目录说明五DataNode工作机制1原创 2018-01-26 00:57:54 · 2328 阅读 · 2 评论 -
大数据之路-MAC中VMwareFusion安装CentOS6.8
MAC中安装虚拟机,其实和windows中几乎是一样的,就是虚拟机地址配置稍微有点曲折,但都是小问题。网上好多教程也有一点坑,我就将自己学习过程中的记录下来。MAC中虚拟机第一步MAC中安装VMWare Fusion第二步下载Centos68mini_64第三步安装Centos68第四步配置网络和mac通信类似于windows的NAT模式1 设置虚拟机MAC地址完了彻底退出2...原创 2017-10-30 23:22:55 · 4606 阅读 · 0 评论 -
大数据之路-Hadoop-3-hadoop HA集群搭建
一前期需要准备的环境1 Mac中准备7台Centos 65 虚拟机2 配置 Linux 主机名 - 7台机子都配置3 配置IP - 7台机子都分别配置4 配置主机名和IP的映射关系5 配置 SSH 免密登录二安装zookeeper集群1 hadoop用户目录下创建一个 apps文件夹2 解压 zookeeper-348targz3 修改配置文件 zoocfg4 z...原创 2018-01-18 22:50:49 · 3587 阅读 · 0 评论 -
大数据之路-Hadoop-4-hadoop shell 命令基本操作
一HDFS 基本概念1 HDFS 前言2 HDFS的概念和特性它是一个文件系统用于存储文件通过统一的命名空间目录树来定位文件它是分布式的由很多服务器联合起来实现其功能集群中的服务器有各自的角色重要特性如下二HDFS基本操作1 命令行客户端支持的命令参数2 常用命令参数一、HDFS 基本概念1.1 HDFS 前言设计思想 分而治之...原创 2018-01-24 22:24:26 · 614 阅读 · 0 评论 -
大数据之路-Hadoop-2-centos6.5编译32位hadoop
光说不练假把式。撸起袖子干起来!本文就是学习。。。。。。选用 hadoop-2.4.0 第一步必要环境准备1 protobuf安装第二步将32位编译成64位本地库1 解压targz2 进入已解压的目录3 执行maven编译命令4 执行maven打包命令5 执行新的打包命令第三步 检查打包编译之后的hadoop位数第一步:必要环境准备...原创 2017-10-28 23:48:40 · 739 阅读 · 0 评论 -
大数据之路-Hadoop-1-如何识别hadoop是32位还是64位
第一步解压压缩包第二步进入本地库第三步使用file命令hadoop在安装的时候,我们需要知道hadoop版本是32位还是64位。hadoop官网本来提供的都是32位,因为我们大部分都是64位,所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。本文选用hadoop-2.8.1.tar.gz版本来测试。 下载地址:https://mirrors...原创 2017-10-28 01:16:48 · 963 阅读 · 0 评论 -
Hadoop学习(一)--分布式环境搭建
准备3台虚拟机安装jdk17 64位修改主机名和IP的映射关系关闭防火墙创建一个 app 文件夹安装Hadoop修改5个配置文件 第一个修改 hadoop-envsh第二个修改 core-sitexml第三个修改 hdfs-sitexml第四个修改 mapred-sitexml第五个修改yarn-sitexml将hadoop添加到环境变量远程复制 hado...原创 2017-03-17 16:22:30 · 718 阅读 · 0 评论 -
zookeeper伪分布式集群搭建
安装步骤第一步上传zookeeper-348targz并解压第二步配置zookeeper1 在zookeeper01中创建一个 data的文件夹2 在data中创建一个myid的文件3 在myid文件的内容为14 zookeeper01zookeeper03依次类推5 修改配置文件51修改zookeeper01的配置文件52修改zookeeper02的配置文件53修改zo...原创 2017-02-26 01:16:11 · 998 阅读 · 0 评论