hdfs 使用

转载 2016年05月30日 19:16:10

hdfs常用命令:
上传:
hadoop fs -put wp.txt /user
添加文件到hdfs上已经有的文件:
hadoop fs -appendToFile a.txt /user/wp.txt
hdfs删除文件:
hadoop fs -rm -r 路径

查看hadoop 状态
hadoop dfsadmin -report

磁盘写满:
http://qindongliang.iteye.com/blog/2091989
http://www.linuxidc.com/Linux/2015-02/113638.htm
http://www.125135.com/949815.html

hdfs参数:
http://m.blog.csdn.net/article/details?id=51190839
https://segmentfault.com/a/1190000000709725

hadoop本地库:

export HADOOP_ROOT_LOGGER=DEBUG,console
ll /lib64/libc.so.6
mkdir zip
cd zip
wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.1.tar.gz
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2

tar -zxvf glibc-2.14.1.tar.gz
cd glibc-2.14.1
tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
cd ..
export CFLAGS="-g -O2"
./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install

make时间比较长,日志很多,别慌
make install 会报两个错,但并不影响,重启hadoop后,本地库正常加载

http://f.dataguru.cn/thread-544498-1-1.html
http://www.linuxidc.com/Linux/2012-04/59200.htm

http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html
http://blog.csdn.net/jiedushi/article/details/7496327
http://www.aboutyun.com/thread-7175-1-1.html

无法启动nameNode或者dataNode
dfs.journalnode.edits.dir和hadoop.tmp.dir的父目录应该相同,而且

scp -r tmp/  THadoop2:/home/idata/hadoop-2.4.1/

后边不能加上tmp,scp会把目录也拷贝过去
http://tianxingzhe.blog.51cto.com/3390077/1711811
http://m.oschina.net/blog/488342

HDFS的WEB UI外网无法访问的问题
因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名,而域名在Hosts又被解析成内网IP。

你使用netstat -apn | grep 50700看一下监听情况。

你会发现监听的是你的内网IP,而不是外网IP,所以HDFS的WEB UI就无法访问啦。

解决办法:如果你使用的是Apache Hadoop,那么需要去手动修改hdfs-site.xml的dfs.namenode.http-address,修改为0.0.0.0:50070。如果使用的是ClouderaManager,那么去HDFS->配置->搜索NameNode Default Group ,然后把NameNode Default Group圈上即可。

注意调整完毕后,需要重新启动HDFS

http://www.cnblogs.com/hark0623/p/4177794.html

http://qindongliang.iteye.com/blog/2256266

Name node is in safe mode的解决方法

bin/hadoop dfsadmin -safemode leave  

相关文章推荐

HDFS部署与Shell命令使用

  • 2016-03-15 15:50
  • 484KB
  • 下载

HDFS部署与Shell命令使用

  • 2015-07-29 11:30
  • 463KB
  • 下载

使用QJM实现HDFS高可用

背景Hadoop2.0.0之前,NameNode存在单点故障问题,每个集群中只有一个NameNode,一旦机器损坏或者进程出了问题,在问题被修复(重启进程或者机器)之前整个集群都处于不可用的状态。HD...
  • it_dx
  • it_dx
  • 2017-06-06 16:43
  • 114

Hadoop实践(三)---使用HDFS的Java API

HDFS进阶

使用QJM的高可用HDFS

这个指南提供了一个 HDFS 高可用(HA)特征的概览,和如何使用Quorum Journal Manager (QJM) 特征来配置和管理 HA HDFS 集群。 这个文档假定读者对 HDFS 集...

HDFS中JAVA API的使用(hadoop的文件上传和下载)

HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。   对分H...

使用python监控HDFS文件的增量【优化中】

目录1、需求和步骤2、项目结构3、项目代码       3.1建表语句 hdfs_Ctreate_table       3.2删除文件记录 hdfs_delete_file_record.py   ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)