实时计算Flink > 独享模式 > Batch（试用） > 创建源表 —— 创建HDFS源表

本页目录

• 创建 HDFS 源表
• 什么是HDFS
• 读HDFS某个路径下所有CSV文件
• 读取HDFS某个目录下所有ORC文件示例
• WITH参数

创建 HDFS 源表

什么是HDFS

HDFS是Hadoop的分布式文件系统。HDFS可以作为Blink Batch的源表和结果表。HDFS上可以存储各种文件类型，目前Blink支持对CSV/Parquet/ORC文件格式的解析。以CSV为例，说明hdfs source用法

DDL定义

1. create table hdfs_source(
2. name varchar,
3. age BIGINT,
4. birthday BIGINT
5. ) with (
6. type='csv',
7. path='hdfs://root/stest/test.csv',
8. lineDelimiter='\n',
9. fieldDelimiter='|'
10. );

读HDFS某个路径下所有CSV文件

大部分情况下，HDFS上的文件都是以表的形式保存的，表下面还有分区，例如：

1. $hadoop fs -ls /user/hive/warehouse/xxx/table1/
2. Found 989 items
3. drwxrwxrwx - serving supergroup 0 2017-03-09 15:44 /user/hive/warehouse/xxx/table1/dt=20180814
4. drwxrwxrwx - serving supergroup 0 2017-03-09 15:44 /user/hive/warehouse/xxx/table1/dt=20180815

读表table1的某个分区数据的示例代码如下：

1. create table hdfs_source(
2. name varchar,
3. age BIGINT,
4. birthday BIGINT
5. ) with (
6. type='csv',
7. path='hdfs://hdfs_name/user/hive/warehouse/xxx/table1/dt=20180814',
8. lineDelimiter='\n',
9. fieldDelimiter='|'
10. );
12. create table test_sink(
13. name varchar,
14. age bigint,
15. birthday bigint
16. ) with (
17. type='print'
18. )
20. insert into test_sink
21. select
22. name,
23. age,
24. birthday
25. from hdfs_source

目前CSV文件暂不支持递归读取多级目录，只能读某个子目录下的所有文件

读取HDFS某个目录下所有ORC文件示例

HDFS上文件可存储为压缩格式orc/parquet，读取这两类文件时，可递归读取某个目录下所有文件，例如，某个表在hdfs上的保存目录如下：

1. $hadoop fs -ls /user/hive/warehouse/xxx/table1/
2. Found 989 items
3. drwxrwxrwx - serving supergroup 0 2017-03-09 15:44 /user/hive/warehouse/xxx/table1/dt=20180814
4. drwxrwxrwx - serving supergroup 0 2017-03-09 15:44 /user/hive/warehouse/xxx/table1/dt=20180815

现要读取整个表table1的所有数据，示例代码如下：

1. create table hdfs_orc_source(
2. name varchar,
3. age BIGINT,
4. birthday BIGINT
5. ) with (
6. type='orc',
7. path='hdfs://hdfs_name/user/hive/warehouse/xxx/table1/dt=20180814',
8. enumerateNestedFiles='true'
9. );
11. create table test_sink(
12. name varchar,
13. age bigint,
14. birthday bigint
15. ) with (
16. type='print'
17. )
19. insert into test_sink
20. select
21. name,
22. age,
23. birthday
24. from hdfs_source

enumerateNestedFiles 参数可递归

WITH参数

目前只支持tuple模式的topic

参数	注释说明	备注
type	hdfs上文件类型	目前blink支持对CSV/Parquet/ORC文件格式的解析
path	文件在HDFS上路径
lineDelimiter	文件的行分隔符	默认’\n’
fileSplitMinSize	文件切分大小，控制并发	默认33554432000L
isContinuousStream		默认true
fieldDelimiter	文件的列分隔符	默认’,’

本文转自实时计算—— 创建HDFS源表