基于HDFS的FTP

转载 2012年03月25日 11:16:43
一家公司使用apache的ftpserver开发框架开发了针对hadoop的hdfs文件系统的ftp服务器,当然是开源的.站点:http://www.hadoop.iponweb.net/Home/hdfs-over-ftp

安装过程非常简单,本人只是在linux下安装过,windows下没有成功安装,linux下安装步骤如下:
1.下载安装文件并解压
http://www.hadoop.iponweb.net/Home/hd ... tp.tar.bz2?attredirects=0

tar zxvf hdfs-over-ftp.tar.bz2

2.配置
软件根目录下的hdfs-over-ftp.conf
设置hdfs-uri的值
hdfs-uri = hdfs://hdfs的namenode的地址:9000

3.用户的设置
软件根目录下的users.conf
缺省用户好象不能login,在文件最后增加如下内容(用户和密码都是hadoop)
ftpserver.user.hadoop.userpassword=0238775C7BD96E2EAB98038AFE0C4279
ftpserver.user.hadoop.homedirectory=/
ftpserver.user.hadoop.enableflag=true
ftpserver.user.hadoop.writepermission=true
ftpserver.user.hadoop.maxloginnumber=0
ftpserver.user.hadoop.maxloginperip=0
ftpserver.user.hadoop.idletime=0
ftpserver.user.hadoop.uploadrate=0
ftpserver.user.hadoop.downloadrate=0
ftpserver.user.hadoop.groups=hadoop,users

密码使用md5生成,JAVA代码如下
PasswordEncryptor passwordEncryptor = new Md5PasswordEncryptor();
System.out.println(passwordEncryptor.encrypt("hadoop"));

4.log的设置
软件根目录下的log4j.conf
和普通的Log4j一样的设置

5.启动和停止方法
./hdfs-over-ftp.sh start
./hdfs-over-ftp.sh stop

6.测试结果
只有权限设置不能用,其它常用的ftp命令都能正常执行
而且上传下载速度甚至比直接使用hadoop的shell还快,当然要在网络环境一样的情况下

hdfs-over-ftp安装与配置

hdfs-over-ftp是一个开源,简单易用的实现了对HDFS系统的下载和上传功能的小工具。可以作为管理工具来使用,快捷方便。 1 安装jdk(1.6以上版本)并配置环境变量 分别执行java ...
  • sptoor
  • sptoor
  • 2013年09月09日 17:16
  • 5283

hadoop生态系统学习之路(三)java实现上传文件(本地或ftp)至hdfs

在上一篇博文中,我们讲了如何编写、运行、测试一个MR,但是hdfs上的文件是手动执行命令从本地linux上传至hdfs的。在真实的运行环境中,我们不可能每次手动执行命令上传的,这样太过繁琐。那么,我们...
  • qiyongkang520
  • qiyongkang520
  • 2016年03月28日 23:40
  • 2711

MapReduce基础开发之五分布式下载ftp文件到本地再迁移到hdfs

为利用Hadoop集群平台的分布存储和计算能力,基于MapReduce将ftp文件分布式下载并上传到HDFS中。 1、文件移动流程:ftp服务器->Namenode本地目录->HDFS目录; ...
  • fjssharpsword
  • fjssharpsword
  • 2016年07月01日 11:48
  • 2398

Hadoop2.7.1版本---标准输出HDFS文件系统中的文件

Hadoop2.7.1版本—本文内容中有关地址的内容要自行根据自身设置修还最近开始全身心的开始学习hadoop了,运行了系统jar文件自带的wordcount(和我们学习编程的第一天输出hellowo...
  • qq_36459106
  • qq_36459106
  • 2017年07月03日 14:51
  • 182

java上传文件到HDFS

java上传本地文件到HDFS。 1、pom依赖 org.apache.hadoop hadoop-common 2.6.0-cdh5.5.1 or...
  • eff666
  • eff666
  • 2016年11月09日 19:13
  • 2145

hadoop正式学习之redis------redis的学习和操作1

1:redis简介   Redis是一种面向“键/值”对数据类型的内存数据库,可以满足我们对海量数据的读写需求     redis的键只能是string类型     redis的值支持多种数据类...
  • hhfff123
  • hhfff123
  • 2016年04月28日 19:38
  • 940

Sqoop学习笔记——关系数据库与hdfs间数据迁移

一、安装: 上传到hadoop集群的某一个节点上,将sqoop压缩包解压即可直接使用;   二、配置: 将需要连接的数据库(比如Oracle、MySQL)的连接驱动拷贝到 sqoop目录的lib里;...
  • lsxy117
  • lsxy117
  • 2015年08月03日 15:31
  • 2711

HDFS基本命令

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和...
  • zhaojw_420
  • zhaojw_420
  • 2016年11月14日 17:43
  • 6874

HDFS --访问(一)

Hdfs的访问方式有两种,第一:类似linux命令,hadoop shell。第二:java API方式。 先看第一种。 FS Shell cat chgrp chmod c...
  • wawmg
  • wawmg
  • 2013年03月24日 07:25
  • 13331

HDFS的认识和理解

HDFS:Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件...
  • se7en_q
  • se7en_q
  • 2015年08月09日 12:07
  • 1356
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:基于HDFS的FTP
举报原因:
原因补充:

(最多只允许输入30个字)