基于HDFS的FTP

转载 2012年03月27日 10:32:04
原文地址:http://blog.sina.com.cn/s/blog_3dbab2840100w2be.html
一家公司使用apache的ftpserver开发框架开发了针对hadoop的hdfs文件系统的ftp服务器,当然是开源的.站点:http://www.hadoop.iponweb.net/Home/hdfs-over-ftp

安装过程非常简单,本人只是在linux下安装过,windows下没有成功安装,linux下安装步骤如下:
1.下载安装文件并解压
http://www.hadoop.iponweb.net/Home/hd ... tp.tar.bz2?attredirects=0

tar zxvf hdfs-over-ftp.tar.bz2

2.配置
软件根目录下的hdfs-over-ftp.conf
设置hdfs-uri的值
hdfs-uri = hdfs://hdfs的namenode的地址:9000

3.用户的设置
软件根目录下的users.conf
缺省用户好象不能login,在文件最后增加如下内容(用户和密码都是hadoop)
ftpserver.user.hadoop.userpassword=0238775C7BD96E2EAB98038AFE0C4279
ftpserver.user.hadoop.homedirectory=/
ftpserver.user.hadoop.enableflag=true
ftpserver.user.hadoop.writepermission=true
ftpserver.user.hadoop.maxloginnumber=0
ftpserver.user.hadoop.maxloginperip=0
ftpserver.user.hadoop.idletime=0
ftpserver.user.hadoop.uploadrate=0
ftpserver.user.hadoop.downloadrate=0
ftpserver.user.hadoop.groups=hadoop,users

密码使用md5生成,JAVA代码如下
PasswordEncryptor passwordEncryptor = new Md5PasswordEncryptor();
System.out.println(passwordEncryptor.encrypt("hadoop"));

4.log的设置
软件根目录下的log4j.conf
和普通的Log4j一样的设置

5.启动和停止方法
./hdfs-over-ftp.sh start
./hdfs-over-ftp.sh stop

6.测试结果
只有权限设置不能用,其它常用的ftp命令都能正常执行
而且上传下载速度甚至比直接使用hadoop的shell还快,当然要在网络环境一样的情况下

相关文章推荐

hdfs-over-ftp安装与配置

hdfs-over-ftp是一个开源,简单易用的实现了对HDFS系统的下载和上传功能的小工具。可以作为管理工具来使用,快捷方便。 1 安装jdk(1.6以上版本)并配置环境变量 分别执行java ...
  • sptoor
  • sptoor
  • 2013-09-09 17:16
  • 4887

ftp提取文件到hdfs

实际场景中,我们经常需要通过ftp协议把不同数据源的文件统一汇入到hdfs数据中心,经过实践,有以下的三种方法,分别列出其优缺点及适用场景。

使用hadoop distcp从ftp拷贝文件到hdfs

distcp从ftp到hdfs拷贝文件: hadoop distcp ftp://fptuser:ftppassword@host/ftp/path/ hdfs://node:port1/hdfs/p...

hadoop2.7.3的ftp over hdfs搭建:

1 环境准备 1.1 ubuntu16.04 1.2 hadoop 2.7.3 安装见:http://blog.csdn.net/tengxing007/article/details/5316...

hadoop生态系统学习之路(三)java实现上传文件(本地或ftp)至hdfs

在上一篇博文中,我们讲了如何编写、运行、测试一个MR,但是hdfs上的文件是手动执行命令从本地linux上传至hdfs的。在真实的运行环境中,我们不可能每次手动执行命令上传的,这样太过繁琐。那么,我们...

hadoop2.4.1的ftp服务器搭建

把本地文件上传到hadoop的hdfs-over-ftp

hadoop hdfs ftp

  • 2017-09-20 06:08
  • 8.81MB
  • 下载

HDFS小工具 -- HDFS over ftp

hdfs-over-ftp是一个开源,简单易用的实现了对HDFS系统的下载和上传功能的小工具。可以作为管理工具来使用,快捷方便。 原文地址: http://liuxiang8484.blog...

hadoop 2.7.1 hdfs-over-ftp

  • 2015-10-10 11:36
  • 452KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)