2015年11月_BIT工匠

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 Nagios and NSCA installation

(一) Nagios installation guide0. Prerequisites https://assets.nagios.com/downloads/nagioscore/docs/nagioscore/4/en/quickstart-fedora.html During portions of the installation you'll need to ha

2015-11-27 17:10:44 568

转载 unicode 编码在线转换工具

source： http://www.cnblogs.com/skykang/archive/2011/06/02/2068802.htmlunicode 编码在线转换工具

2015-11-24 10:36:27 2309

转载浅谈Hadoop NameNode、SecondaryNameNode、CheckPoint Node和BackupNode

source： http://blog.yidooo.net/archives/hadoop-namenode-secondarynamenode-checkpointnode-backupnode.htmlNameNodeHadoop NameNode管理着文件系统的Namespace，它维护着整个文件系统树（FileSystem Tree）以及文件树中所有的文件

2015-11-24 08:28:02 1634

转载浅析Hadoop Secondary NameNode，CheckPoint Node，Backup Node

source： http://blog.csdn.net/desertfish/article/details/8862159Secondary NameNodeHadoop SecondaryNameNode并不是Hadoop 第二个NameNode，它不提供NameNode服务，而仅仅是NameNode的一个工具。这个工具帮助NameNode管理Metadata数据

2015-11-24 08:16:38 581

转载 Understanding HDFS Recovery Processes (Part 2)

source: http://blog.cloudera.com/blog/2015/03/understanding-hdfs-recovery-processes-part-2/Having a good grasp of HDFS recovery processes is important when running or moving toward productio

2015-11-20 16:07:18 694

转载 Understanding HDFS Recovery Processes (Part 1)

source : http://blog.cloudera.com/blog/2015/02/understanding-hdfs-recovery-processes-part-1/Having a good grasp of HDFS recovery processes is important when running or moving toward prod

2015-11-20 16:05:27 464

原创 Maven编译错误：Could not generate DH keypair: Prime size must be multiple of 64...

Maven编译时报如下错误：[ERROR] Failed to execute goal on project hadoop-hdfs: Could not resolve dependencies for project org.apache.hadoop:hadoop-hdfs:jar:2.0.0-cdh4.5.0: Failed to collect dependencies at co

2015-11-20 13:13:58 12939 2

转载 The Hadoop Distributed File System

source： http://www.aosabook.org/en/hdfs.htmlThe Hadoop Distributed File System (HDFS) is designed to store very large data sets reliably, and to stream those data sets at high bandwidth to

2015-11-20 11:52:53 834

转载 What is Hadoop Metrics2?

source：http://blog.cloudera.com/blog/2012/10/what-is-hadoop-metrics2/Metrics are collections of information about Hadoop daemons, events and measurements; for example, data nodes collect met

2015-11-19 21:23:01 655

原创 Hadoop系列四： HDFS相关的checkpoint交互

以下为停止运行任何job后，整个hadoop系统的日志输出：[bruce@iRobot hadoop]$ tail -f logs/*-namenode*.log2015-11-19 16:17:18,303 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 192.168.100.20

2015-11-19 20:15:53 1006

转载 Hadoop2.2.0中HDFS的高可用性实现原理

转自： http://www.iteblog.com/archives/833　　在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。　　主要在两

2015-11-19 18:03:42 295

转载 Hadoop 2.x中fsimage和edits合并实现

转自： http://www.iteblog.com/archives/974在Hadoop 2.x中解决了NameNode的单点故障问题；同时SecondaryName已经不用了，而之前的Hadoop 1.x中是通过SecondaryName来合并fsimage和edits以此来减小edits文件的大小，从而减少NameNode重启的时间。而在Hadoop 2.x中已经不用S

2015-11-19 18:02:51 533

转载 Hadoop 1.x中fsimage和edits合并实现

转自： http://www.iteblog.com/archives/969在NameNode运行期间，HDFS的所有更新操作都是直接写到edits中，久而久之edits文件将会变得很大；虽然这对NameNode运行时候是没有什么影响的，但是我们知道当NameNode重启的时候，NameNode先将fsimage里面的所有内容映像到内存中，然后再一条一条地执行edits中的记

2015-11-19 18:00:49 498

转载 Hadoop文件系统元数据fsimage和编辑日志edits

转自： http://www.iteblog.com/archives/968NameNode的$dfs.namenode.name.dir/current/文件夹的几个文件：1current/2|-- VERSION3|-

2015-11-19 17:56:13 267

转载 Hadoop NameNode元数据相关文件目录解析

下面所有的内容是针对Hadoop 2.x版本进行说明的，Hadoop 1.x和这里有点不一样。　　在第一次部署好Hadoop集群的时候，我们需要在NameNode（NN）节点上格式化磁盘：1[wyp@wyp hadoop-2.2.0]$ $HADOOP_HOME/bin/hdfs namenode -format

2015-11-19 17:53:54 599

原创 Hadoop系列三：运行job过程日志

[bruce@iRobot hadoop]$ $HADOOP_PREFIX/bin/hdfs dfs -mkdir /user[bruce@iRobot hadoop]$ $HADOOP_PREFIX/bin/hdfs dfs -mkdir /user/bruce[bruce@iRobot hadoop]$ tail -f logs/*-namenode*.log2015-11-19

2015-11-19 16:42:02 5884

原创 Hadoop系列二：启动HDFS和YARN过程日志

以下记录为启动HDFS和YARN环境时的过程中的中间过程输出，节点注册和 HDFS文件系统的数据变化日志等。(1)执行HDFS文件系统格式化[bruce@iRobot hadoop]$ $HADOOP_PREFIX/bin/hdfs namenode -format15/11/19 13:55:39 INFO namenode.NameNode: STARTUP_MSG: /****

2015-11-19 16:40:41 3017

原创 Hadoop系列一：Hadoop CDH4 编译安装介绍

1. 下载CDH wget http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.5.0.tar.gz2. 设置环境变量 (1) 设置JAVA_HOME ----------------------- $ cat ~/.bash_profile #java settings ex

2015-11-19 16:38:43 1054

原创 Apache Hadoop安装

1.建立jdk环境 >>> jdk与hadoop关系参见： http://wiki.apache.org/hadoop/HadoopJavaVersions >>> 至少选择 oracle jdk 1.6.0_20 或者以上. 本次编译选择jdk 1.7.0_21. [bruce@iRobot hadoop-install]$ cat ~/.bash_profil

2015-11-06 13:11:41 1219