thrift实现HDFS文件操作

最新推荐文章于 2023-07-27 13:58:29 发布
最新推荐文章于 2023-07-27 13:58:29 发布
阅读量138 收藏 1
点赞数
文章标签： java
原文链接：http://www.cnblogs.com/cl1024cl/p/6205124.html
版权

thrift 文件如下


namespace java com.pera.file.transform


struct  File{
    1:string path ,
    2:string content,
}

service FileTransform {
    bool exists(1:string path),
    void mkdir(1:string path ),
    void store(1:File file),
    set<string> ls(1:string path),
    bool isDirectory(1:string path),
    string getParentFile(1:string path),
    void createNewFile(1:string path),
    void deleteFile(1:string path),
    void deleteOnExit(1:string path),
    bool isFile(1:string path),
    void rename(1:string srcPath ,2:string destPath),
    string getName(1:string path),
    i64 totalSpace(1:string path),
    i64 usedSpace(1:string path),
    string read(1:string path)

}


客户端：

public class FileTransFormPair {
    
    private TTransport transport ;
    private Client  client  ;
    
    public FileTransFormPair(){}
    
    public FileTransFormPair( TTransport transport ,Client  client ){
        this.transport=transport ;
        this.client =client;
    }
    
    public TTransport getTransport() {
        return transport;
    }
    public void setTransport(TTransport transport) {
        this.transport = transport;
    }
    public Client getClient() {
        return client;
    }
    public void setClient(Client client) {
        this.client = client;
    }
}

public class FileTransFormClient implements Iface {

    public static  String SERVER_IP = "localhost";
    public static  int SERVER_PORT = 8090;
    public static  int TIMEOUT = 30000;
    
    public FileTransFormClient(String host,int port ,int timeout){
        SERVER_IP=host;
        SERVER_PORT=port;
        TIMEOUT=timeout;
    }
    
    private static   FileTransFormPair getClient() throws TTransportException{
        TTransport transport = new TSocket(SERVER_IP, SERVER_PORT, TIMEOUT);
        TProtocol protocol = new TBinaryProtocol(transport);
        Client  client =new Client(protocol);
        transport.open();
        return new FileTransFormPair(transport, client);
    }
    
    @Override
    public boolean exists(String path) throws TException {
        boolean result =false;
        FileTransFormPair parameter =getClient();
        result =parameter.getClient().exists(path);
        parameter.getTransport().close();
        return result;
    }


    @Override
    public void mkdir(String path) throws TException {
        FileTransFormPair parameter =getClient();
        parameter.getClient().mkdir(path);
        parameter.getTransport().close();
        
    }


    @Override
    public void store(File file) throws TException {
        FileTransFormPair parameter =getClient();
        parameter.getClient().store(file);
        parameter.getTransport().close();
        
    }


    @Override
    public Set<String> ls(String path) throws TException {
        FileTransFormPair parameter =getClient();
        Set<String> result =parameter.getClient().ls(path);
        parameter.getTransport().close();
        return result;
    }


    @Override
    public boolean isDirectory(String path) throws TException {
        boolean result =false ;
        FileTransFormPair parameter =getClient();
        result =parameter.getClient().isDirectory(path);
        parameter.getTransport().close();
        return result;
    }


    @Override
    public String getParentFile(String path) throws TException {
        FileTransFormPair parameter =getClient();
        String result =parameter.getClient().getParentFile(path);
        parameter.getTransport().close();
        return result;
    }


    @Override
    public void createNewFile(String path) throws TException {
        FileTransFormPair parameter =getClient();
        parameter.getClient().createNewFile(path);
        parameter.getTransport().close();
    }


    @Override
    public void deleteFile(String path) throws TException {
        FileTransFormPair parameter =getClient();
        parameter.getClient().deleteFile(path);
        parameter.getTransport().close();
        
    }


    @Override
    public void deleteOnExit(String path) throws TException {
        FileTransFormPair parameter =getClient();
        parameter.getClient().deleteOnExit(path);
        parameter.getTransport().close();
        
    }


    @Override
    public boolean isFile(String path) throws TException {
        FileTransFormPair parameter =getClient();
        boolean result =parameter.getClient().isFile(path);
        parameter.getTransport().close();
        return result ;
    }


    @Override
    public void rename(String srcPath, String destPath) throws TException {
        FileTransFormPair parameter =getClient();
        parameter.getClient().rename(srcPath, destPath);
        parameter.getTransport().close();
        
    }


    @Override
    public String getName(String path) throws TException {
        FileTransFormPair parameter =getClient();
        String result =parameter.getClient().getName(path);
        parameter.getTransport().close();
        return result;
    }


    @Override
    public long totalSpace(String path) throws TException {
        FileTransFormPair parameter =getClient();
        long result =parameter.getClient().totalSpace(path);
        parameter.getTransport().close();
        return result;
    }


    @Override
    public long usedSpace(String path) throws TException {
        FileTransFormPair parameter =getClient();
        long result =parameter.getClient().usedSpace(path);
        parameter.getTransport().close();
        return result;
    }

    @Override
    public String read(String path) throws TException {
        FileTransFormPair parameter =getClient();
        String result =parameter.getClient().read(path);
        parameter.getTransport().close();
        return result;
    }
}

服务端：

public class ThriftServer {

    public static  int SERVER_PORT ;

    private static TServer server =null;
    
    private  static Log  LOG =LogFactory.getLog(ThriftServer.class);
    
    public void init(){
        SERVER_PORT = 9090;
        LOG.info("init the thriftServer");
    }
    
    public void start() throws TTransportException {
        TProcessor tprocessor = new FileTransform.Processor<FileTransform.Iface>(
                new FileStoreService());
        TServerSocket serverTransport = new TServerSocket(SERVER_PORT);
        TThreadPoolServer.Args ttpsArgs = new TThreadPoolServer.Args(
                serverTransport);
        ttpsArgs.processor(tprocessor);
        ttpsArgs.protocolFactory(new TBinaryProtocol.Factory());
        server = new TThreadPoolServer(ttpsArgs);
        server.serve();
        LOG.info("start the thriftServer");
    }

    public void stop() {
        if(null!=server){
            server.stop();
            LOG.info("stop the thriftServer");
        }
    }

    public static void main(String[] args) {
        ThriftServer server =new ThriftServer();
        server.init();
        try {
            server.start();
        } catch (TTransportException e) {
            e.printStackTrace();
        }
    }

}
public class FileStoreService implements Iface{

    private Configuration getConfiguration(){
        Configuration  conf =new Configuration();
        Properties  pro = new Properties();
        try {
            pro.load(new FileInputStream(new File("conf/filetransform-site.properties")));
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
//        conf.set("dfs.default.name", pro.getProperty("dfs.default.name"));
        
        return conf;
    }
    @Override
    public boolean exists(String path) throws TException {
        Configuration  conf =getConfiguration();
        FileSystem fs=null;
        try {
            fs = FileSystem.get(conf);
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }
        boolean exists =false ;
        try {
            exists  = fs.exists(new Path(path));
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        return exists;
    }

    @Override
    public void mkdir(String path) throws TException {
        Configuration  conf =getConfiguration();
        FileSystem fs=null;
        try {
            fs = FileSystem.get(conf);
            fs.mkdirs(new Path(path));
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
    }

    @Override
    public void store(com.pera.file.transform.gen.File file) throws TException {
        String path =file.getPath();
        String content =file.getContent();
        Configuration conf  =getConfiguration();
        FileSystem  fs =null;
        FSDataOutputStream out=null;
        try {
            Path p =new Path(path);
            fs =FileSystem.get(conf);
            if(!fs.exists(p.getParent())){
                throw new TException( path+" is not exists");
            }
            out =fs.create(p);
            if(null!=content){
                byte   [] tmp =content.getBytes();
                out.write(tmp);
                out.flush();
                out.close();
            }
        } catch (Exception e) {
            throw new TException(e.getMessage());
        }finally{
            try {
                if(null!=out){
                    out.close();
                }
            } catch (IOException e) {
                throw new TException(e.getMessage());
            }
            try {
                if(null!=fs){
                    fs.close();
                }
            } catch (IOException e) {
                throw new TException(e.getMessage());
            }
            
        }
    }

    @Override
    public Set<String> ls(String path) throws TException {
        Configuration  conf =getConfiguration();
        FileSystem fs =null;
        Set<String>  result =new HashSet<String>();
        try {
            fs=FileSystem.get(conf);
            FileStatus   [] fstatus=fs.listStatus(new Path(path));
            int length =fstatus==null?0:fstatus.length;
            for (int i = 0; i < length; i++) {
                String url =fstatus[i].getPath().toString();
                result.add(url);
            }
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        return result;
    }

    
    @Override
    @SuppressWarnings("deprecation")
    public boolean isDirectory(String path) throws TException {
        Configuration conf =getConfiguration();
        FileSystem fs =null;
        boolean result =false ;
        try {
            fs =FileSystem.get(conf);
            result =fs.isDirectory(new Path(path));
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        return result;
    }

    @Override
    public String getParentFile(String path) throws TException {
        Path parentPath =new Path(path).getParent();
        return parentPath.toString();
    }

    @Override
    public void createNewFile(String path) throws TException {
        Configuration conf =getConfiguration();
        FileSystem fs =null;
        try {
            fs =FileSystem.get(conf);
            fs.createNewFile(new Path(path));
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
    }

    @Override
    public void deleteFile(String path) throws TException {
        Configuration conf =getConfiguration();
        FileSystem fs =null;
        try {
            fs =FileSystem.get(conf);
            fs.deleteOnExit(new Path(path));
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        
    }

    @Override
    public void deleteOnExit(String path) throws TException {
        Configuration conf =getConfiguration();
        FileSystem fs =null;
        try {
            fs =FileSystem.get(conf);
            fs.deleteOnExit(new Path(path));
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        
    }

    @Override
    public boolean isFile(String path) throws TException {
        
        boolean isFile =false ;
        
        Configuration conf =getConfiguration();
        FileSystem fs =null;
        try {
            fs =FileSystem.get(conf);
            isFile =fs.isFile(new Path(path));
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        return isFile;
    }

    @Override
    public void rename(String srcPath, String destPath) throws TException {
        Configuration conf =getConfiguration();
        FileSystem fs =null;
        try {
            fs =FileSystem.get(conf);
            fs.rename(new Path(srcPath), new Path(destPath));
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        
    }

    @Override
    public String getName(String path) throws TException {
        String name  =new Path(path).getName();
        
        return name;
    }

    @Override
    public long totalSpace(String path) throws TException {
        Configuration conf =getConfiguration();
        FileSystem fs =null;
        long length =0 ;
        try {
            fs =FileSystem.get(conf);
            length =fs.getFileStatus(new Path(path)).getLen();
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        return length;
    }

    @Override
    public long usedSpace(String path) throws TException {
        Configuration conf =getConfiguration();
        FileSystem fs =null;
        long used =0 ;
        try {
            fs =FileSystem.get(conf);
            used =fs.getUsed();
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        return used;
    }
    
    @Override
    public String read(String path) throws TException {
        Configuration conf =getConfiguration();
        FileSystem fs =null;
        String result   ="" ;
        try {
            fs =FileSystem.get(conf);
            FSDataInputStream  in =fs.open(new Path(path));
            int length =in.available();
            byte  [] tmp = new byte  [length] ;
            in.readFully(tmp);
            result  =new String(tmp);
        } catch (IOException e) {
            throw new TException(e.getMessage());
        }finally{
            if(null!=fs){
                try {
                    fs.close();
                } catch (IOException e) {
                    throw new TException(e.getMessage());
                }
            }
        }
        return result;
    }
}


转载于:https://www.cnblogs.com/cl1024cl/p/6205124.html

weixin_30822451
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python操作hdfs_使用python访问hdfs | 学步园
weixin_39598568的博客
12-14 418
使用非Java语言访问hdfs有两种方法，一种是利用libhdfs.so来访问hdfs，另一种是使用thrift通信框架来访问，这里暂先介绍libhdfs1、先安装libhdfs# 前提是安装jdk6、jre6，利用cloudera.repo来安装hadoop-0.20sudo yum –y install libhdfs*2、安装python-devel(2.6+), gccsudo yum –...
通过Thrift访问HDFS分布式文件系统的性能瓶颈分析
weixin_33686714的博客
08-26 657
引言 　　Hadoop提供的HDFS布式文件存储系统，提供了基于thrift的客户端访问支持，但是因为Thrift自身的访问特点，在高并发的访问情况下，thrift自身结构可能将会成为HDFS文件存储系统的一个性能瓶颈。我们先来看一下一不使用Thrfit方式访问HDFS文件系统的业务流程。 一、HDFS文件读取流程 　　 流程说明： 使用HDFS提供的客户端开发库Client，向远程...
php使用thrift操作hdfs
二两天涯的专栏
07-23 3550
假定主机上已经安装了LAMP环境 1. 安装所需的依赖包 也可以参考thift官网来安装 http://thrift.apache.org/docs/install/centos   #yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python
python操作hdfs
ljty_sy的博客
03-07 2489
#!/usr/bin/env python # -*- coding:utf-8 -*- """ 安装依赖包 pip install hdfs pip install thrift """ from hdfs.client import Client # 删除hdfs文件 def delete_hdfs_file(client, hdfs_path): client.delete(hdfs_path) # 上传文件到hdfs def put_to_hdfs(client,
php hdfs thrift,sparkThriftserver 长时间运行HDFS_DELEGATION_TOKEN失效问题
weixin_28977143的博客
04-07 270
1、背景sparkThriftserver 运行一天后，有人反馈查询报错，我自己测试了下，确实如此org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): token (HDFS_DELEGATION_TOKEN token 93611 for hadoop...
flume+hdfs所需jar.rar
03-25
7. `libthrift-0.x.jar`：Thrift 库，Flume 使用 Thrift 协议与 HDFS 进行通信。 8. `zookeeper-3.x.jar`：ZooKeeper 服务的客户端库，Hadoop 集群管理依赖 ZooKeeper 来协调分布式操作。 在配置 Flume 以将数据...
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
09-16
5. 其他如`thrift`, `thrift-sasl`, `impyla`, `hdfs[kerberos]`, `pykerberos`等，这些是Python连接Hive和HDFS所需的库。 安装完成后，你需要配置Kerberos相关的设置，包括`/etc/krb5.conf`和`/etc/hosts`文件。`/...
PHP操作操作hdfs是代码例子
12-03
下面我们将深入探讨如何使用PHP通过Thrift接口操作HDFS，以及提供的for_test.php文件可能包含的代码示例。 首先，让我们了解PHP如何与HDFS进行交互。这通常涉及到使用Apache Thrift，这是一个跨语言的服务开发工具...
apache-doris-0.12.0-incubating-src.tar.gz-hdfs_broker.zip 编译ok
12-07
Apache Doris 是一款开源的、高性能的列式数据库管理...通过编译源代码，你可以了解其内部实现，对系统进行定制化调整，而预编译的 HDFS Broker 可以快速集成到你的 Doris 集群中，用于处理与 HDFS 相关的数据操作。
hbase thrift python
08-04
**HBase** 是一个分布式的、面向列的NoSQL数据库，它构建于Hadoop文件系统（HDFS）之上，用于存储大规模结构化数据。HBase提供实时读写能力，并支持水平扩展，适用于大数据分析和实时查询场景。 **Thrift** 是一个...
python直接操作hive hdfs实例代码
WangYouJin321的博客
01-25 1426
from hdfs import InsecureClient lian = InsecureClient(url='http://master:9870') # 指定远程地址，和用户名 print(lian.list('/')) # 列出根目录下的所有文件 lian.write(hdfs_path='/niubi/shang2', overwrite=True, data='世界你好，我来了'.encode('utf-8')) # 在/niubi/目录下面创建名字为shang的文件，里面写入数据.
Python通过thrift访问hadoop：报错java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
Life is short, not float
04-19 1597
使用Python通过thrift访问hdfs的基本步骤，同时遇到访问中报错java.lang.IllegalArgumentException: Wrong FS: hdfs://xxxx expected file:/// 的解决方案
How to read binary data from HDFS with Thrift?
whatever you do - just have fun！
08-19 408
创业公司有很多东西是从探索慢慢走向成熟的，当然探索的过程也是站在了巨人的肩膀上的！      去年才接触到Thrift，它作为一个可扩展且跨语言的服务框架确实比较好用，利用它搭建一个服务是个非常容易的事情，现在也有很多公司开始使用这个框架了。    今年由于业务量的增长非常迅猛，数据流架构上也要相应的调整，随之数据也就迁移到HDFS上去了，同时也问题来了，怎么用Thrift的API从HDFS读取二
thrift介绍及应用（四）—hadoop的thrift接口
热门推荐
guxch的专栏
09-29 1万+
一、概述 hadoop是目前使用比较多的分布式文件系统，由于hadoop是用Java写的，对非Java程序人员，不好直接使用它的接口，不过它提供了thrift接口服务器，因此也可以采用其他语言来编写hadoop的客户端，本文主要介绍的是它C++客户端的使用。 目前hadoop稳定版是1.2.1，thrift接口文件位于/src/contrib/thriftfs/if/hadoopfs.thri
php通过thrift获取hadoop资源
心静如水
10-25 211
php可以通过thrift连接hbase，同样php可以通过thrift读取hadoop资源(HDFS资源)。 准备： php需要thrift的libary packages:hadoop-0.20.2\src\contrib\thriftfs\gen-php 源码： [code="php"] [/code] 启动hadoop的thrift hadoop-0.20.2\src\...
Hadoop_HDFS_常见的文件组织格式与压缩格式
最新发布
迎难而上
07-27 2836
参考资料1.2.本文主要介绍下HDFS上的常见文件格式和压缩格式总结 :HDFS 中常见的文件存储格式HDFS中常见的文件压缩方式。
php通过 thrift访问hadoop的hive
Sean的专栏
04-28 6310
本文讲解php通过sql查询hadoop中的数据。主要使用的技术是：php通过thrift向hive提交sql查询，hive将sql查询转换成hadoop任务，等到hadoop执行完毕后，返回一个结果uri，然后我们只需要读取这个uri中的内容。 Thrift的诞生是为了解决不同语言之间的访问的问题，可以支持多种程序语言，如c++、php、java、python等。Thrift是由faceboo
php 使用 hdfs 分布式存储海量小文件
wangyifeng6的专栏
03-09 5309
php可以通过thrift连接hbase，同样php可以通过thrift读取hadoop资源(HDFS资源)。 准备： php需要thrift的libary thrift 安装参见 我上一篇文章 packages:hadoop-0.20.2\src\contrib\thriftfs\gen-php  // 搜索hadoop 下载源码 ，在hadoop源码包里     $G
flume hdfs sink 配置
04-06
Flume HDFS Sink 配置是指在 Flume 中将数据传输到 HDFS 的配置。在 Flume 中，HDFS Sink 是一种 Sink 类型，它可以将数据写入 HDFS 文件系统中。配置 HDFS Sink 需要指定 HDFS 的相关参数，如 HDFS 的路径、文件格式、文件大小等。同时，还需要指定 Flume 的数据源和数据传输方式，如 Avro、Thrift、HTTP 等。配置完成后，Flume 就可以将数据传输到 HDFS 中，实现数据的持久化存储。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值