![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 68
小顽童王
阳光内敛...
展开
-
edits、fsimage文件查看器
oev是offline edits viewer(离线edits查看器)的缩写,该工具只操作文件因而并不需要hadoop集群处于运行状态。目前支持的输出格式有binary(hadoop使用的二进制格式)、xml(在不使用参数p时的默认输出格式)和stats(输出edits文件的统计信息)。oiv是offline image viewer的缩写,用于将fsimage文件的内容原创 2015-12-01 18:11:15 · 508 阅读 · 0 评论 -
Job作业执行流程
Job作业提交流程:1、我们在进行MR的编写完成后,a、会调用job.waitForCompletion(boolean)来将作业提交到集群并等待作业完成。b、在该方法内部,首先会判断Job状态并调用submit()方法进行提交,将任务提交到集群后会立刻返回;c、提交后,会判断waitForCompletion()的参数布尔变量,若为true的话,表示在作业原创 2015-12-01 18:07:26 · 1983 阅读 · 0 评论 -
hadoop概述
MapReduce和HDFS是Hadoop的两大核心,整个Hadoop体系结构主要通过HDFS来实现对分布式存储的底层支持的,并且通过MapReduce来实现对分布式并行任务处理的程序的支持。namenode1.hdfs守护进程;2.记录文件是如何分割成数据块的,以及这些数据块被存储到那些节点上;3.对内存和I/O进行集中管理;4.是单点,发生故障将使集群崩溃.原创 2015-12-01 18:01:44 · 482 阅读 · 0 评论 -
DataNode启动流程
DataNode启动可以分为两个部分,创建DataNode对象和启动DataNode节点。从DataNode.main()说起:1、main(args)àsecureMain(args,null),在该函数内部:调用StringUtils.startupShutdownMessage()方法打印启动或停止参数信息;调用createDatanode(args…)创建DataNode对原创 2015-12-01 18:09:18 · 1157 阅读 · 0 评论 -
NameNode格式过程
NameNode.Main()函数1、调用startupShutdownMessage输出启动、停止日志信息;2、创建namenode:通过调用createNameNode(args,null)方法来创建实例;3、createNameNode函数内部:a、判断配置信息对象configuration是否已经实例化,若为实例化,则进行创建对象实例化;b、解析输入原创 2015-12-01 18:06:09 · 1429 阅读 · 0 评论 -
二级索引
HBase二级索引hbase-solrsolr:solrcloud必须的软件:hbase、solr、zookeeper、hbase-solr https://github.com/NGDATA/hbase-indexer 安装hbase-solr,整合测试1、获取tar包,解压2、进入conf目录,修改hbase-indexer-site.xml配置文件,配原创 2017-02-13 10:50:59 · 2452 阅读 · 0 评论 -
集群数据迁移
静态迁移方案(必须在hbase集群停掉的情况下进行)hadoop distcp动态迁移方案三种:Replication备份方案修改hbase-site.xml配置,增加hbase.replication属性,增加表属性REPLICATION_SCOPE属性add_peerCopyTable方案命令:./hbase org.apache.hadoop.原创 2017-02-13 10:51:59 · 699 阅读 · 0 评论