libhdfs源码分析(1)

libhdfs是hdfs的c++客户端,提供了操作hdfs的基本接口,对于典型的读写场景,使用libhdfs的流程如下:// 建立连接1. hdfsFS hdfsConnectAsUserNewInstance(const char* host, tPort port, const char *user , const char **groups, int groups_size )//
摘要由CSDN通过智能技术生成

libhdfs是hdfs的c++客户端,提供了操作hdfs的基本接口,对于典型的读写场景,使用libhdfs的流程如下:

// 建立连接
1. hdfsFS hdfsConnectAsUserNewInstance(const char* host, tPort port, const char *user , const char **groups, int groups_size )

// 打开文件
2. hdfsFile hdfsOpenFile(hdfsFS fs, const char* path, int flags, int bufferSize, short replication, tSize blockSize)

// 读写文件
3. tSize hdfsRead(hdfsFS fs, hdfsFile f, void* buffer, tSize length)
   tSize hdfsWrite(hdfsFS fs, hdfsFile f, const void* buffer, tSize length)

// 关闭文件
4. int hdfsCloseFile(hdfsFS fs, hdfsFile file)

// 关闭连接
5. int hdfsDisconnect(hdfsFS fs)

针对0.20.1版本的源码,对主要流程做了简单的分析。

hdfsConnectAsUserNewInstance的流程如下:

1. 生成Configuration对象
2. 根据参数生成UnixUserGroupInformation
3. 通过Filesystem::get(URI, conf)方法获得DistributedFileSystem对象并返回

Filesystem::get的流程如下:
1. 根据uri获取scheme
2.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值