php使用thrift操作hdfs

最新推荐文章于 2024-05-21 21:17:09 发布

二两天涯

最新推荐文章于 2024-05-21 21:17:09 发布

阅读量3.5k

点赞数

分类专栏： hadoop 文章标签： hadoop thrift hdfs php

hadoop 专栏收录该内容

0 篇文章 0 订阅

订阅专栏

假定主机上已经安装了LAMP环境

1. 安装所需的依赖包

也可以参考thift官网来安装 http://thrift.apache.org/docs/install/centos

#yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel php php-devel

2. 从http://thrift.apache.org/download/下载thrift源码包

3. 安装thrift

    ./configure --with-lua=no –prefix=/usr/local/thrift

（可能出现的错误 bison版本不够，升级bison2.5.*）

    make && make install

4. 安装php扩展

    cd /path/to/thrift-0.8.0/lib/php/src/ext/thrift_protocol

    phpize

    ./configure -enable-thrift_protocol -with-php-config=/usr/bin/php

    make

    make install

    修改php.ini，添加extension=thrift_protocol.so

5. 从http://hadoop.apache.org/releases.html#Download下载hadoop源码包

6. 解压并编译hadoop(注意必须先安装好java编译器，ant编译环境，以及libtool, autoconf等工具)

    tar zxvf hadoop-1.0.4.tar.gz

    cd hadoop-1.0.4

    ant compile

7. 启动hdfs以及thrift代理(hdfs集群配置请参考官方文档，不再累述)

    cd /path/to/hadoop-1.0.4

    bin/start-dfs.sh

     cd /path/to/hadoop-1.0.4/src/contrib/thriftfs/scripts/

     ./start_thrift_server.sh [port] (如果port为空，则随机一个port)

8. 准备php依赖库

    cp -r /path/to/thrift-0.8.0/lib/php /usr/local/thrift/lib

    mkdir -p /usr/local/thrift/lib/php/src/packages

    cp -r /path/to/hadoop-1.0.4/src/contrib/thriftfs/gen-php/ /usr/local/thrift/lib/php/src/packages/hadoopfs/

9. php测试代码

<?php

error_reporting(E_ALL);
ini_set('display_errors', 'on');

$GLOBALS['THRIFT_ROOT'] = '/usr/local/thrift/lib/php/src';
define('THRIFT_ROOT', $GLOBALS['THRIFT_ROOT']);

/**
 * Init Autloader
*/
require_once THRIFT_ROOT . '/Thrift.php';
require_once THRIFT_ROOT . '/transport/TSocket.php';
require_once THRIFT_ROOT . '/transport/TBufferedTransport.php';
require_once THRIFT_ROOT . '/protocol/TBinaryProtocol.php';

$socket = new TSocket('192.168.1.12', 11511);
$socket->setSendTimeout(10000);
$socket->setRecvTimeout(20000);
$transport = new TBufferedTransport($socket);
$protocol = new TBinaryProtocol($transport);

require_once $THRIFT_ROOT . '/packages/hadoopfs/ThriftHadoopFileSystem.php';
$client = new ThriftHadoopFileSystemClient($protocol);

$transport->open();
try{

#$pathname = new Pathname(array('pathname' => '/user/hadoop/dir4test'));

#$fp = $client->open($pathname);

#var_dump($client->stat($pathname));

#var_dump($client->read($fp, 0, 1024));



$pathname = new Pathname(array('pathname' => '/user/hadoop/thrift'));

if(!$client->exists($pathname)){


$client->mkdirs($pathname);


print("Created dir". $pathname->pathname);


var_dump($client->stat($pathname));

}
}
catch(Exception $ex){

print_r($ex);
}
$transport->close();
?>

thrift接口文件位于/src/contrib/thriftfs/if/hadoopfs.thrift，启动thrift服务的脚本位于/usr/local/hadoop/src/contrib/thriftfs/scripts/start_thrift_server.sh，PHP语言文件位于/usr/local/hadoop/src/contrib/thriftfs/gen-php，包括hadoopfs_types.php ThriftHadoopFileSystem.php两个文件。
hadoopfs.thrift，包括4个结构，2个异常，19个service函数。以下将分别介绍结构和函数。

开启thrift sever的脚本如下(当然，首先应启动hadoop)：

启动start_thrift_server.sh时可以指定启动端口 eg：sh start_thrift_server.sh 48566 不指定则随机分配

启动start_thrift_server.sh时报错为hadoop环境配置错误
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/ hadoop/conf/Configuration

解决方法，将Hadoop的classpath加到环境变量中，如：
export CLASSPATH=$HADOOP_HOME"hadoop-core-1.0.4.jar"

或者直接在/etc/profile里面加上变量的路径然后执行source /etc/profile让其修改生效

如果不写端口，则侦听端口是随机的，无论哪种情况，注意一下启动的输出，其中有端口号。

补充：

单机状态测试时本机必须同时安装hadoop环境和thrift

联机状态使用时 server机安装hadoop环境和thrift php项目所在的客户机也要安装thrift
server机启动thrift服务（sh start_thrift_server.sh 48566）
客户端机器链接时 socket（ip=server机ip，port=48566，……）

联机操作时自己遇见的问题，测试机执行时一切正常，但是联机时却老是报错
exception 'TTransportException' with message 'TSocket read 0 bytes' in /root/thrift/lib/php/src/transport/TSocket.php:263
问题：最后发现是因为客户端机器是32位系统，文件句柄id较长，32位机器溢出，致使write时找不到正确的文件句柄
解决：迁移64位机器后一切正常

接口结构，如下：