![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
xuguokun1986
这个作者很懒,什么都没留下…
展开
-
使用docker搭建hadoop分布式集群
使用Docker搭建部署hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,只能自己写一个了。 一:环境准备: 1:首先要有一个Centos7操作系统,可以在虚拟机中安装。 2:在centos7中安装docker,docker的版本为1.8.2 安装步骤如下: 安装制定版本的dockeryum install -y转载 2016-06-22 15:55:26 · 1540 阅读 · 0 评论 -
org.apache.hadoop.hbase.TableNotFoundException: SYSTEM.CATALOG exception with phoenix 4.5.2
错误提示:org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:108) at org.apache.phoenix.query.ConnectionQue原创 2017-04-20 15:43:00 · 7182 阅读 · 1 评论 -
ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
遇到该错误1. 查看 Hbase master log, 发现2014-07-14 23:31:51,270 INFO [master:192.168.126.8:60000] util.FSUtils: Waiting for dfs to exit safe mode...退出 Hadoop 安全模式bin/hdfs dfsadmin -safemode leave成功解决。转载 2017-04-19 10:14:56 · 2890 阅读 · 0 评论 -
打包编译hadoop之HelloWord(WordCount)
1、WordCount代码package com.test;import java.io.IOException;import java.net.URI;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSyste原创 2016-10-07 14:49:01 · 2013 阅读 · 0 评论 -
docker镜像制作之dockercompose.yml文件---hadoop伪分布式
一、其实对于hadoop集群不是太适合放在docker服务器里面来跑,因为docker提倡容器和服务是1:1的关系,但是hadoop提倡datanode和nodemanager在一个节点上(容器),但是当docker使用swarm之后,还是可以考虑将hadoop集群的各个服务扔进容器里面。二、构建hadoop集群的基础镜像1.构建hadoop集群的基础镜像需要如下文件:原创 2016-10-29 09:52:53 · 3195 阅读 · 0 评论 -
浅析Hadoop Secondary NameNode,CheckPoint Node,Backup Node
Secondary NameNodeHadoop SecondaryNameNode并不是Hadoop 第二个NameNode,它不提供NameNode服务,而仅仅是NameNode的一个工具。这个工具帮助NameNode管理Metadata数据。NameNode的HDFS文件信息(即Metadata)记录在内存中,client的文件写操作直接修改内存中的Metadata,同时也会转载 2016-10-06 19:11:00 · 336 阅读 · 0 评论 -
Hadoop Backup Node
我们都知道Namenode的元数据非常重要,如果元数据损坏,所有存储在datanode中的数据都读不出来了。另外,如果Namenode的元数据比较大,那么集群的启动速度非常慢。为了解决这两个问题,Hadoop弄了一个Secondary Namenode。 Namenode的元数据: Hadoop Namenode元数据主要是两个文件:edits和fsimage。fsimage是HD转载 2016-10-06 18:37:16 · 547 阅读 · 0 评论 -
《Hadoop管理一》checkpoint原理和过程
from http://www.cnblogs.com/hanyuanbo/archive/2012/07/25/2608698.html理解这两个概念,对于理解Hadoop是如何管理备份,Secondary Namenode、Checkpoint Namenode和Backup Node如何工作的很重要。fsimage:文件是文件系统元数据的一个永久性检查点,包含文件系统中的转载 2016-10-06 18:36:43 · 431 阅读 · 0 评论 -
Hadoop之Partition到底是干啥子的?
1.解析PartitionMap的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。Mapper的结果,可能送到Combiner做合并,Combiner在系统中并没有自己的基类,而是用Reducer作为Combiner的基类,他们对外的功能是一样的,只是使用的位置和使转载 2016-10-05 14:01:29 · 404 阅读 · 0 评论 -
Hadoop中mapReduce处理过程详解
分析上图:1. 输入分片(input split):在进行map计算之前,mapreduce会根据输入文件计算输入分片(input split),每个输入分片(input split)针对一个map任务,输入分片(input split)存储的并非数据本身,而是一个分片长度和一个记录数据的位置的数组,输入分片(input split)往往和hdfs的block(块)关系很密切,假如我们转载 2016-10-05 13:44:03 · 426 阅读 · 0 评论 -
docker镜像制作之Dockerfile文件---hadooop伪分布式
1、Dockerfile代码段FROM ubuntu:14.04MAINTAINER SequenceIQUSER root# install dev toolsRUN apt-get updateRUN apt-get install -y curl tar sudo openssh-server openssh-client rsync# passwordless ssh原创 2016-10-25 20:27:33 · 1089 阅读 · 0 评论 -
Hadoop NameNode 高可用 (High Availability) 实现解析
在 Hadoop 的整个生态系统中,HDFS NameNode 处于核心地位,NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性。本文尝试从内部实现的角度对 NameNode 的高可用机制进行详细的分析,主要包括 NameNode 的主备切换实现分析和 NameNode 的共享存储实现分析。文章的最后在结合作者自身实践的基础上,列举了一些在高可用运维过程中需要注意的事项。转载 2016-10-08 16:19:25 · 380 阅读 · 0 评论 -
kiwenlau/hadoop-cluster-docker
文章来自Github : https://github.com/kiwenlau/hadoop-cluster-docker转载 2017-06-01 21:08:12 · 808 阅读 · 0 评论