HaDoop_Pig_Store格式

PigStorage默认情况对应使用制定分隔符分割的文本格式,默认为 tab
BinStorage map/reduce job 的存储方式,用户也可以使用(可以 load 也可以 store),builtin;
JsonLoader/JsonStorage 前者需要指定 schema,builtin
TextLoader 用来读入文本,每行一个 chararray,builtin
AvroStorageorg.apache.pig.piggybank.storage.avro 用来读取和存储 avro 格式的文件,读取也需要 schema,或者指定或者有个 schema 文件
CVSLoaderorg.apache.pig.piggybank.storage用来载入 CVS 文件
DBStorageorg.apache.pig.piggybank.storage用于写入 DB,需要指定数据库驱动和使用的 SQL 语句
HadoopJobHistoryLoader (同上),
IndexedStorage (同上),支持 per-record seek 的存储
MultiStorage (同上),产生多个 output directory,根据用户指定的规则进行拆分
RegExLoader/MyRegExLoader (同上),根据 RE 对 log 进行分析
SequenceFileLoader (同上),用来读取 sequence file
XMLLoader (同上),用来 load XML 文件的内容,需要提供 schema。
HBaseStorageorg.apache.pig.backend.hadoop.hbase用来从 HBase 里面读入和写入数据
HDataStorageorg.apache.pig.backend.hadoop.datastorage 
TableLoader/TableStorerorg.apache.hadoop.zebra.pig用来处理 zebra 格式的数据
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值