关闭

hdfs 使用

标签: hdfs
181人阅读 评论(0) 收藏 举报
分类:

hdfs常用命令:
上传:
hadoop fs -put wp.txt /user
添加文件到hdfs上已经有的文件:
hadoop fs -appendToFile a.txt /user/wp.txt
hdfs删除文件:
hadoop fs -rm -r 路径

查看hadoop 状态
hadoop dfsadmin -report

磁盘写满:
http://qindongliang.iteye.com/blog/2091989
http://www.linuxidc.com/Linux/2015-02/113638.htm
http://www.125135.com/949815.html

hdfs参数:
http://m.blog.csdn.net/article/details?id=51190839
https://segmentfault.com/a/1190000000709725

hadoop本地库:

export HADOOP_ROOT_LOGGER=DEBUG,console
ll /lib64/libc.so.6
mkdir zip
cd zip
wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.1.tar.gz
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2

tar -zxvf glibc-2.14.1.tar.gz
cd glibc-2.14.1
tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
cd ..
export CFLAGS="-g -O2"
./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install

make时间比较长,日志很多,别慌
make install 会报两个错,但并不影响,重启hadoop后,本地库正常加载

http://f.dataguru.cn/thread-544498-1-1.html
http://www.linuxidc.com/Linux/2012-04/59200.htm

http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html
http://blog.csdn.net/jiedushi/article/details/7496327
http://www.aboutyun.com/thread-7175-1-1.html

无法启动nameNode或者dataNode
dfs.journalnode.edits.dir和hadoop.tmp.dir的父目录应该相同,而且

scp -r tmp/  THadoop2:/home/idata/hadoop-2.4.1/

后边不能加上tmp,scp会把目录也拷贝过去
http://tianxingzhe.blog.51cto.com/3390077/1711811
http://m.oschina.net/blog/488342

HDFS的WEB UI外网无法访问的问题
因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名,而域名在Hosts又被解析成内网IP。

你使用netstat -apn | grep 50700看一下监听情况。

你会发现监听的是你的内网IP,而不是外网IP,所以HDFS的WEB UI就无法访问啦。

解决办法:如果你使用的是Apache Hadoop,那么需要去手动修改hdfs-site.xml的dfs.namenode.http-address,修改为0.0.0.0:50070。如果使用的是ClouderaManager,那么去HDFS->配置->搜索NameNode Default Group ,然后把NameNode Default Group圈上即可。

注意调整完毕后,需要重新启动HDFS

http://www.cnblogs.com/hark0623/p/4177794.html

http://qindongliang.iteye.com/blog/2256266

Name node is in safe mode的解决方法

bin/hadoop dfsadmin -safemode leave  
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:17588次
    • 积分:804
    • 等级:
    • 排名:千里之外
    • 原创:51篇
    • 转载:76篇
    • 译文:0篇
    • 评论:0条
    文章分类
    阅读排行
    评论排行