HDFS配置

转载 2015年09月07日 18:25:24
Hadoop的关键配置文件
     hdfs上传文件成功之后,自己又开始好奇地修改其配置文件。因为之前自己对于hadoop一直都是胡打乱撞,缺乏系统的理解和认识,在网上查到了一个篇hadoop配置文件的资料,于是就开始动起手来,不想出现了新的错误。首先来梳理下hadoop的配置文件:
1. hadoop-env.sh
     hadoop的运行环境配置,主要设置HADOOP_HOME和JAVA_HOME两个环境变量,指定其所在路径即可
2. core-site.xml
     注意fs.default.name属性要正确配置,该属性用于配置namenode节点,我们都知道一个hadoop系统中一般只有一个namenode节点管理所有的datanode,所以设置一定要正确:hdfs://localhost:8020。一般默认都是9000端口,但是我自己的ubuntu并不能正常运行,所以才修改为8020。8020端口是hadoop的namenode的RPC调用端口。
3. hdfs-site.xml
     dfs.replication属性,顾名思义表示指定的hadoop文件块的备份数量,一般默认是3份,可以设为1
     dfs.name.dir属性,非常重要,用来设置存放namenode数据的目录,如果这个目录访问失败,则会导致namenode启动失败
     dfs.data.dir属性,用来指定datanode上本地存放数据的目录,与namenode的设置独立没有关系
4. mapred-site.xml
     mapred.jop.tracker属性用来设置JobTracker的主机、IP地址和端口,本机的话可以设置为:localhost:9001
     Hbase系统的配置文件主要需要注意以下几个:
1. hbase-env.sh
     设置环境变量,要export Java路径,最后一行有个属性HBASE_MANAGES_ZK设为true表示启用自带的ZK,否则运行时会提示打开ZK错误,到时也可以使用apt-get单独的zookeeper运行。
2. hbase-site.xml
     hbase.rootdir属性设置region server的共享目录,默认写到tmp中,不改写的话重启后数据会丢失,我的设为了hdfs://localhost:8020/hbase

     zookeeper.znode.parent表示Hbase的跟ZNODE,一般默认为/hbase

 由于配置时经常需要修改文件,不晓得什么时候不小心就导致配置错误,因此经常备份是个好习惯,可以使用ubuntu的tar命令来实现备份,生成backup.tgz后放在/下:
tar  -cvpzf  backup.tgz   --exclude=/proc  --exclude=/backup.tgz  --exclude=/lost+found  --exclude=/mnt  --exclude=/sys  /
      恢复的时候可以使用命令:
tar -xvpzf  backup.tgz -C /

HDFS文件存放在实际的节点本地系统中,但是使用特殊的编码方式,有着自己的文件系统树结构,因此一般不能用cd命令进入查看。上传文件就是将自己的文件添加进HDFS的树中。

Hadoop入门--HDFS(单节点)配置和部署 (一)

一 配置SSH    下载ssh服务端和客户端 sudo apt-get install openssh-server openssh-client   验证是否安装成功  ssh user...
  • http_it
  • http_it
  • 2013年12月13日 01:07
  • 9098

HDFS分布式安装配置笔记

1.准备三台虚拟机 centos6.5 192.168.20.171 node1 NameNode节点 centos6.5 192.168.20.172 node2 DataNode节点、Second...
  • xuxile
  • xuxile
  • 2017年02月17日 18:45
  • 1966

HDFS 2.7.1 所有配置项

http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml http://hado...
  • guotong1988
  • guotong1988
  • 2015年09月26日 11:13
  • 545

Hadoop 配置本篇主要就是配置HDFS和YARN

配置HDFS和YARN之前要对服务器或者虚拟机安装jdk、maven、findbugs、protobuf等,这些就不一一赘述了,一查一大堆。 首先要有编译好的hadoop的jar包,解压到自己的目录...
  • Just_for_fun_208
  • Just_for_fun_208
  • 2016年04月28日 09:57
  • 1005

HDFS上配置kerberos(十一)

一、创建认证规则 二、创建Keytab文件 三、部署Kerberos Keytab文件 四、修改HDFS配置文件,包括 1)core-site.xml 2)hdfs-site.xml 五、...
  • forever19870418
  • forever19870418
  • 2017年04月01日 16:36
  • 519

分布式环境下Spark与HDFS的配置

下面以ubuntu系统的两个计算机节点为例,介绍配置方法。 一、准备工作 笔者各软件包的使用版本为 spark:1.4.0 hadoop:2.7.0 jdk:Oracle JDK 7 操作系统: ...
  • ksmartinsun
  • ksmartinsun
  • 2015年12月27日 19:19
  • 2065

windows下java操作hdfs相关配置

本文部分参考:http://www.cnblogs.com/marost/p/4372778.html,该文写得比较详细。我在操作时,未安装eclipse插件,感觉多余。具体步骤如下: 在进...
  • daxiang12092205
  • daxiang12092205
  • 2016年10月01日 16:02
  • 1339

HDFS集群安装配置

HDFS 2.7.2 配置文档学习笔记。
  • wangwenzhi276
  • wangwenzhi276
  • 2016年11月17日 21:29
  • 1534

高可用Hdfs&HBase配置实践

首先介绍版本背景,hdfs为2.7.1,hbase为1.3.0,其它版本的配置可能存在变化。 HDFS相关配置: dfs.datanode.synconclose 设为true,当为false时,系统...
  • bryce123phy
  • bryce123phy
  • 2017年03月28日 22:24
  • 1949

官网HDFS Federation的理解与配置

HDFS Federation HDFS Federation Background Multiple Namenodes/Namespaces Key Benefits F...
  • xiangaichou
  • xiangaichou
  • 2014年03月13日 09:33
  • 1457
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HDFS配置
举报原因:
原因补充:

(最多只允许输入30个字)