hdfs 使用

转载 2016年05月30日 19:16:10

hdfs常用命令:
上传:
hadoop fs -put wp.txt /user
添加文件到hdfs上已经有的文件:
hadoop fs -appendToFile a.txt /user/wp.txt
hdfs删除文件:
hadoop fs -rm -r 路径

查看hadoop 状态
hadoop dfsadmin -report

磁盘写满:
http://qindongliang.iteye.com/blog/2091989
http://www.linuxidc.com/Linux/2015-02/113638.htm
http://www.125135.com/949815.html

hdfs参数:
http://m.blog.csdn.net/article/details?id=51190839
https://segmentfault.com/a/1190000000709725

hadoop本地库:

export HADOOP_ROOT_LOGGER=DEBUG,console
ll /lib64/libc.so.6
mkdir zip
cd zip
wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.1.tar.gz
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2

tar -zxvf glibc-2.14.1.tar.gz
cd glibc-2.14.1
tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
cd ..
export CFLAGS="-g -O2"
./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install

make时间比较长,日志很多,别慌
make install 会报两个错,但并不影响,重启hadoop后,本地库正常加载

http://f.dataguru.cn/thread-544498-1-1.html
http://www.linuxidc.com/Linux/2012-04/59200.htm

http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html
http://blog.csdn.net/jiedushi/article/details/7496327
http://www.aboutyun.com/thread-7175-1-1.html

无法启动nameNode或者dataNode
dfs.journalnode.edits.dir和hadoop.tmp.dir的父目录应该相同,而且

scp -r tmp/  THadoop2:/home/idata/hadoop-2.4.1/

后边不能加上tmp,scp会把目录也拷贝过去
http://tianxingzhe.blog.51cto.com/3390077/1711811
http://m.oschina.net/blog/488342

HDFS的WEB UI外网无法访问的问题
因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名,而域名在Hosts又被解析成内网IP。

你使用netstat -apn | grep 50700看一下监听情况。

你会发现监听的是你的内网IP,而不是外网IP,所以HDFS的WEB UI就无法访问啦。

解决办法:如果你使用的是Apache Hadoop,那么需要去手动修改hdfs-site.xml的dfs.namenode.http-address,修改为0.0.0.0:50070。如果使用的是ClouderaManager,那么去HDFS->配置->搜索NameNode Default Group ,然后把NameNode Default Group圈上即可。

注意调整完毕后,需要重新启动HDFS

http://www.cnblogs.com/hark0623/p/4177794.html

http://qindongliang.iteye.com/blog/2256266

Name node is in safe mode的解决方法

bin/hadoop dfsadmin -safemode leave  

hdfs远程连接hadoop问题与解决

问题:使用hdfs客户端在本地连接阿里云服务器上部署的hadoop,操作hdfs时候出现异常:could only be replicated to 0 nodes instead of minRep...

模拟使用Flume监听日志变化,并且把增量的日志文件写入到hdfs中

1.采集日志文件时一个很常见的现象采集需求:比如业务系统使用log4j生成日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs中。 1.1.根据需求,首先定义一下3大要素:采集源,即...

HDFS部署与Shell命令使用

  • 2016年03月15日 15:50
  • 484KB
  • 下载

HDFS部署与Shell命令使用

  • 2015年07月29日 11:30
  • 463KB
  • 下载

HDFS安装、配置以及基本使用

HDFS是一个分布式文件系统,安装完成之后使用起来类似于本地文件系统,但是它是一个网络文件系统,所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的(本地文件系统的方式是基于系统调用的,当...

使用maven+spring做的HDFS的WEB项目

  • 2016年07月21日 16:23
  • 39.63MB
  • 下载

在使用Spark Streaming向HDFS中保存数据时,文件内容会被覆盖掉的解决方案

我的Spark Streaming代码如下所示: 全选复制放进笔记val lines=FlumeUtils.createStream(ssc,"hdp2.domain",22222,StorageL...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hdfs 使用
举报原因:
原因补充:

(最多只允许输入30个字)