hadoop
cyclebozhou
这个作者很懒,什么都没留下…
展开
-
mapreduce的几种工作模式
前言Mapreduce工作原理,可以粗略的看作一个分包聚合分包过程的map,聚合过程reduce,根据业务的不同使用的方式也不同.其中主要可以分为5种不同的使用模式.MapReduce作业的阶段主要可以分为以下5种: Input-Map-Reduce-Output Input-Map-Output Input-Multiple Maps-Reduce-Out...原创 2018-02-08 19:14:32 · 1212 阅读 · 1 评论 -
hadoop面对大量的小文件处理
小文件在HDFS中 HDFS块大小默认是128m(hadoop2.x默认是128),若是存储了很多这种小文件每个小文件占了一个block而每个block的文件,目录在namenode里以对像(元数据)形式存储,就会造成namenode内存占用严重,同时 阅读小文件通常会导致从一个DataNode到DataNode检索每个小文件检索效率极低在MapReduce中小文件问题一个Map...原创 2018-02-08 20:29:39 · 4979 阅读 · 2 评论 -
hadoop之hdfs(1)
基本原理: 采用的架构:Master/Slave主从架构,即一个hdfs包含一个逻辑上的单独的master节点(实际上可以包含多个物理主机或者备用机)和多个slave节点服务器.主节点:NameNode NameNode负责保存和管理所有的HDFS元数据 从节点:DataNode DataNode:通过一个个Block把文件保存在本地硬盘上需要定时向 N...原创 2018-02-08 21:00:36 · 781 阅读 · 1 评论 -
hadoop之hdfs
前言:高可用,这个是分布式集群中不可忽略保持业务连续性的解决方案,在hadoopHDFS集群中namenode是一个”不可替代”关键角色,为了保证集群的可用性采取划分活动节点 ( Active )及 备用节点 ( Standby)hadoop2.x 之后,Clouera 提出了 QJM/Qurom Journal Manager(还有其他的一些解决方案如:Linux HA, VMware ...原创 2018-02-09 13:10:48 · 995 阅读 · 1 评论 -
Hadoop HA 集群的搭建(1)
搭建准备:系统:centos6.x版本:hadoop2.7.4 jdk1.8 zookeeper-3.4.5集群部署节点角色的规划(7节点) server01 namenode zkfc server02 namenode zkfc server03 resourcemanager server04 r...原创 2018-02-09 13:22:42 · 764 阅读 · 1 评论 -
hadoop HA集群搭建(2)
修改配置文件:2.2.2修改core-site.xml<configuration><!-- 集群名称在这里指定!该值来自于hdfs-site.xml中的配置 --><property><name>fs.defaultFS</name><value>hdfs://cluster1</value>&原创 2018-02-09 13:26:53 · 739 阅读 · 1 评论 -
hadoop HA 集群搭建(3)
启动步骤: 2.5启动zookeeper集群(分别在hadoop05、hadoop06、tcast07上启动zk) bin/zkServer.sh start #查看状态:一个leader,两个follower bin/zkServer.sh status2.6手动启动journalnode(分别在在hadoop05、hadoop06、ha...原创 2018-02-09 13:29:41 · 768 阅读 · 1 评论