用puthivestreaming把hdfs里的数据流到hive表

全景图：

 

1. 创建hive表

1 2 3 4 5 6 7

CREATE TABLE IF NOT EXISTS newsinfo.test(    name STRING ) CLUSTERED BY (name)INTO  3  BUCKETS ROW FORMAT DELIMITED STORED AS ORC TBLPROPERTIES( 'transactional' = 'true' );

1

2. 这里用了 ReplaceText 生成 json 数据 （正式环境可以直接从hfs里取到）

 

3. 用ConvertJSONToAvro 转换json 到avro

{ "name": "dtu", "type": "record", "fields":[ { "name":"name","type": "string" } ] }

 

 

4. PutHiveStreaming

 

本文转自疯吻IT博客园博客，原文链接：http://www.cnblogs.com/fengwenit/p/5928368.html，如需转载请自行联系原作者