hdfs 使用

转载 2016年05月30日 19:16:10

hdfs常用命令:
上传:
hadoop fs -put wp.txt /user
添加文件到hdfs上已经有的文件:
hadoop fs -appendToFile a.txt /user/wp.txt
hdfs删除文件:
hadoop fs -rm -r 路径

查看hadoop 状态
hadoop dfsadmin -report

磁盘写满:
http://qindongliang.iteye.com/blog/2091989
http://www.linuxidc.com/Linux/2015-02/113638.htm
http://www.125135.com/949815.html

hdfs参数:
http://m.blog.csdn.net/article/details?id=51190839
https://segmentfault.com/a/1190000000709725

hadoop本地库:

export HADOOP_ROOT_LOGGER=DEBUG,console
ll /lib64/libc.so.6
mkdir zip
cd zip
wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.1.tar.gz
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2

tar -zxvf glibc-2.14.1.tar.gz
cd glibc-2.14.1
tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
cd ..
export CFLAGS="-g -O2"
./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install

make时间比较长,日志很多,别慌
make install 会报两个错,但并不影响,重启hadoop后,本地库正常加载

http://f.dataguru.cn/thread-544498-1-1.html
http://www.linuxidc.com/Linux/2012-04/59200.htm

http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html
http://blog.csdn.net/jiedushi/article/details/7496327
http://www.aboutyun.com/thread-7175-1-1.html

无法启动nameNode或者dataNode
dfs.journalnode.edits.dir和hadoop.tmp.dir的父目录应该相同,而且

scp -r tmp/  THadoop2:/home/idata/hadoop-2.4.1/

后边不能加上tmp,scp会把目录也拷贝过去
http://tianxingzhe.blog.51cto.com/3390077/1711811
http://m.oschina.net/blog/488342

HDFS的WEB UI外网无法访问的问题
因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名,而域名在Hosts又被解析成内网IP。

你使用netstat -apn | grep 50700看一下监听情况。

你会发现监听的是你的内网IP,而不是外网IP,所以HDFS的WEB UI就无法访问啦。

解决办法:如果你使用的是Apache Hadoop,那么需要去手动修改hdfs-site.xml的dfs.namenode.http-address,修改为0.0.0.0:50070。如果使用的是ClouderaManager,那么去HDFS->配置->搜索NameNode Default Group ,然后把NameNode Default Group圈上即可。

注意调整完毕后,需要重新启动HDFS

http://www.cnblogs.com/hark0623/p/4177794.html

http://qindongliang.iteye.com/blog/2256266

Name node is in safe mode的解决方法

bin/hadoop dfsadmin -safemode leave  
Java.io.IOException: No FileSystem for scheme: hdfs
Configuration conf = new Configuration();  
conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());  

Hadoop的基本使用(1)——环境搭建、HDFS的简单使用

Hadoop HDFS 简介概念: namenode:负责记录 数据块 的分布情况– 数据元数据信息 datanode:负责实际存储 数据块 block:是Hadoop最小存储数据单位 默认...
  • u011831754
  • u011831754
  • 2016年11月29日 23:51
  • 1574

HDFS的使用及编程

前面总体上认识了HDFS,本文介绍HDFS的使用,主要是对其Java API的介绍,参考hadoop的在线api。 1.web访问:http://localhost:50070,查看dfs、node...
  • whuqin
  • whuqin
  • 2011年08月05日 14:51
  • 7210

hadoop入门教程-hdfs

HDFS是分布式文件管理系统,盛放文件的系统。                 HDFS为了做到可靠性创建了多份数据块的复制,并将它们放置到服务器群的计算节点中,那么MapReduce就可以在它们...
  • u010158267
  • u010158267
  • 2016年03月31日 21:52
  • 629

Hadoop之——HDFS操作实例

本文通过两种方式来讲解hadoop中对HDFS文件系统的操作,第一种方式是命令行,第二种方式是通过java代码来实现。       一、命令行方式:hadoop fs xxx          had...
  • l1028386804
  • l1028386804
  • 2015年05月22日 21:35
  • 6316

HDFS安装、配置以及基本使用

HDFS是一个分布式文件系统,安装完成之后使用起来类似于本地文件系统,但是它是一个网络文件系统,所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的(本地文件系统的方式是基于系统调用的,当...
  • yu616568
  • yu616568
  • 2015年01月16日 18:33
  • 1718

hdfs获取文件列表,利用正则表达式选择文件并作下一步处理

Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(URI.create(args[1]),conf...
  • SHENNONGZHAIZHU
  • SHENNONGZHAIZHU
  • 2016年05月10日 15:47
  • 1928

Hadoop for .NET Developers(八):以编程方式将数据加载到HDFS

在本系列的最后一篇博文中,我们讨论了如何手动将数据加载到集群。虽然这对偶尔的需求是适用的,但是编程访问是更为方便,更为典型的方案。为了实现这一点,Hadoop在HTTP端口50070上提供了一个RES...
  • WuLex
  • WuLex
  • 2017年09月23日 10:59
  • 492

Hadoop读书笔记(三)Java API操作HDFS

Hadoop读书笔记(三)Java API操作HDFS 多种方法诠释,注释清晰,史上最全咯!
  • caicongyang
  • caicongyang
  • 2014年11月19日 22:25
  • 3255

HDFS API基本操作

对HDFS API基本操作都是通过 org.apache.hadoop.fs.FileSystem类进行的,以下是一些常见的操作:package HdfsAPI;import java.io.Buff...
  • scgaliguodong123_
  • scgaliguodong123_
  • 2015年06月03日 22:01
  • 1572

hdfs常用命令和java操作hdfs

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统,HDFS有着高容错性(fault-tolerant)的特点,并且设计用来...
  • lanlianhua_luffy
  • lanlianhua_luffy
  • 2017年06月27日 21:46
  • 277
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hdfs 使用
举报原因:
原因补充:

(最多只允许输入30个字)