通过fuse使greenplum外部表能使用HDFS上的文件

最新推荐文章于 2022-09-13 13:25:19 发布

wh62592855

最新推荐文章于 2022-09-13 13:25:19 发布

阅读量2.6k

点赞数

分类专栏： GreenPlum 文章标签： greenplum hadoop encoding table 磁盘 null

本文链接：https://blog.csdn.net/wanghai__/article/details/6461911

版权

本文介绍了如何通过FUSE将HDFS挂载到本地目录，以便在Greenplum中创建外部表并直接读取HDFS上的文件。详细步骤包括：使用`fuse_dfs_wrapper.sh`挂载HDFS，使用`hadoop fs`命令上传文件，启动`gpfdist`服务，创建指向挂载HDFS文件的外部表，并验证数据查询。

摘要由CSDN通过智能技术生成

虽然在GREENPLUM 4.1版本已经支持直接外部表读、写HDFS上的文件了，不过有时候可能并不如使用本地磁盘一样方便，这个时候也许你就需要看看FUSE了。

1、首先进入$HADOOP_HOME/fuse-dfs目录下，执行如下命令通过FUSE把HDFS挂在到本地目录上
./fuse_dfs_wrapper.sh dfs://hadoop5:9000 /home/gpadmin1/joe.wangh/hive/hive
2、下面随便造一个文本文件，并把它PUT到HDFS中
[gpadmin1@hadoop5 ~]$ hadoop fs -ls /
Found 5 items
drwxr-xr-x   - gpadmin1 supergroup          0 2011-06-02 17:02 /gp
drwxr-xr-x   - gpadmin1 supergroup          0 2011-06-01 11:37 /hive
drwxr-xr-x   - gpadmin1 supergroup          0 2011-05-31 11:45 /home
drwxr-xr-x   - gpadmin1 supergroup          0 2011-05-30 16:20 /tmp
drwxr-xr-x   - gpadmin1 supergroup          0 2011-05-30 16:19 /user
[gpadmin1@hadoop5 ~]$ cat 1.dat
1,2
3,4
5,6
[gpadmin1@hadoop5 ~]$ hadoop fs -put 1.dat /gp
3、启动gpfdist服务，创建外部表，指定相应的文本文件
nohup gpfdist -d /home/gpadmin1/joe.wangh/hive/hive/gp -p 8888 &