2015年11月_haoran_gao

原创 jobserver和日志聚集aggregation

jobserver的配置在mapred-site.xml中<property> <name>mapreduce.jobhistory.address</name> <value>***:10020</value></property><property> <name>mapreduce.jobhistory.webapp.address</name> <value>***:19888

2015-11-17 17:12:26 408

原创 eclipse在Linux下的安装配置maven

这两天在Linux下安装eclipse并配置maven时，遇到了些问题，记录一下安装的过程和问题。eclipse安装将eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz解压到安装目录。 tar -zxvf eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz -c / 用命令./eclipse就可以在linux下启

2015-11-13 14:01:19 3783

转载转 hadoop 参数配置

http://my.oschina.net/u/1378204/blog/471338?p=1

2015-11-12 15:16:13 300

转载转载-Hadoop NameNode元数据相关文件目录解析

在第一次部署好Hadoop集群的时候，我们需要在NameNode（NN）节点上格式化磁盘：[wyp@wyp hadoop-2.2.0]$ $HADOOP_HOME/bin/hdfs namenode -format格式化完成之后，将会在$dfs.namenode.name.dir/current目录下如下的文件结构 current/ |– VERSION |–

2015-11-12 14:55:23 528

原创存储在HDFS上的文件，存储机制及数据安全性如何保证。

HDFS是一种分布式存储系统，它把大文件分块存储在网络的机器中，它采用主从结构（master/slave). 通过一些后台进程来管理文件的存储：Namenode, Datanode,SecondaryNamenode.NameNode结构图如下： NameNode维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件

2015-11-12 14:34:45 7803

原创 hadoop配置文件及常用配置

在安装完hadoop后，配置文件保存在etc/hadoop/下，通常需要我们做修改。 - core-site.xml 全局配置 - hadoop-site.xml - yarn-site.xml - mapred-site.xml 可以参看hadoop文档下的默认配置修改常用的修改如下：core-site.xmlnamenode RPC 端口，域名设置(..*=hostname

2015-11-12 06:52:05 694

原创 Hadoop-2.5.0源码编译-记录

1.概述夜深了，这是本人的第一篇技术博客，写文章不是本人的长处，也会经常去问度娘，如果本文中记录的步骤侵犯了某些博主的权利，请联系我。本文只是记录了自己的编译过程。为什么要编译hadoop源码呢？网上各种编译好的hadoop,拿来用就好了吗！因为在用别人hadoop时，别人的编译环境跟我们的不同，在使用过程中会有些报警。报警而已嘛，可我老师是个严厉的人，让我们自己编译一下。我是个遵守纪律的好学生

2015-11-07 23:52:34 751

haoran_gao的博客