hadoop pig store保存输出格式设置USING PigStorage

最新推荐文章于 2019-07-30 01:10:00 发布
最新推荐文章于 2019-07-30 01:10:00 发布
阅读量1.1k 收藏
点赞数
分类专栏： Hadoop 文章标签： pig
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hong032684/article/details/79044143
版权
当使用Hadoop Pig进行数据处理并使用PigStorage以CSV格式保存文件时，发现每行末尾自动添加了逗号导致导入数据库时格式错误。通过在pig.properties中设置`textinputformat.record.delimiter=/`，然后重新执行Pig脚本，可以消除行尾逗号，确保数据正确导入。
摘要由CSDN通过智能技术生成

mapreduce之后我们想把文件保存下来，变成csv的格式，我们就在store保存语句后面加上USING PigStorage(',')，发现一个问题就是在每一行最末端也自动加了逗号，这个使我们sqoop把文件导入数据库出现格式错误，怎样把最后的逗号去掉呢？找了很久，终于找到，


在pig的安装路径conf/pig.properties加上了这个参数

textinputformat.record.delimiter=/

上面设置完之后，source pig.properties，然后执行，出来每一行最后就没有逗号了

最低0.47元/天 解锁文章
我要一步一步往上走
关注
专栏目录
Pig工作流：实现复杂数据处理流程
程序员光剑
08-13 418
1. 背景介绍 1.1 大数据时代的挑战 随着互联网和移动设备的普及，全球数据量呈爆炸式增长，我们正处于一个前所未有的“大数据”时代。海量的数据蕴藏着巨大的价值，但也给传统的数据处理技术带来了巨大的挑战。传统的单机数据库和数据仓库难以应对PB级甚至EB级数据的存储、
HaDoop_Pig_Store格式
AngusDavis的博客
09-07 616
PigStorage 默认情况 对应使用制定分隔符分割的文本格式，默认为 tab BinStorage   map/reduce job 的存储方式，用户也可以使用（可以 load 也可以 store），builtin； JsonLoader/JsonStorage   前者需要指定 schema，builtin TextLoader   用来读入文本
pig 自定义udf中读取hdfs 文件
weixin_30496431的博客
04-18 133
最近几天，在研究怎么样把日志中的IP地址转化成具体省份城市。 希望写一个pig udf IP数据库采用的纯真IP数据库文件qqwry.dat,可以从http://www.cz88.net/下载。 这里关键点在于怎么样读取这个文件，浪费了二天时间，现在把代码记录下来供和我遇到相同问题的朋友参考。 pig script register /usr/local/pig/mypig...
（转）PIG 的几种 storage
The Big Data Way
02-07 423
PIG 的几种 storage PIG 现在除了默认的 PigStorage（对应使用制定分隔符分割的文本格式，默认为 tab） 以外还提供了 BinStorage，默认情况下 map/reduce job 的存储方式，用户也可以使用（可以 load 也可以 store），builtin； JsonLoader/JsonStorage，前者需要指定 schema，builtin Tex...
Pig store用法举例
weixin_30550081的博客
06-07 263
store：将数据存储到HDFS等文件系统里 将数据保存到/data目录 store data into '/data'; 　　 以逗号为分隔符 store data into '/data' using PigStorage(','); 转载于:https://www.cnblogs.com/lishouguang/p/4559304....
Apache pig写数据至Elasticsearch
chizhuo3576的博客
07-30 322
Elasticsearch提供了打通Hadoop生态圈和Elasticsearch的jar包，很方便，下载地址：https://www.elastic.co/cn/downloads/hadoop 对于Elasticsearch版本是否要和jar包一致，我没有做过验证，直接用的对应一致的版本。...
Alex 的 Hadoop 菜鸟教程: 第16课 Pig 安装使用教程
软件哲学
02-09 3995
本教程介绍Pig的安装和使用。hdfs虽说是一个文件空间，但是我们每次要查看hdfs上的文件的时候都要输入一大串命令，比如一个简单的ls都需要输入 ： hdfs dfs -ls / ，而且还不能cd到某个目录，这样就造成了每次ls都要带上全路径的麻烦，能不能有一个工具可以模拟linux下的shell呢？Pig就实现了这样的需求，可以直接ls，可以cd到某个目录。并且Pig还创造了 Pig Latin语言，可以通过Pig写一个类似存储过程的MapReduce的Job，pig会自动帮你把这个job翻译成MapR
Hadoop的pig清洗test数据库过大元素
最新发布
05-19
如果你的Hadoop集群上运行着Apache Pig，那么你可以使用Pig来清洗一个包含大量元素的test数据库。下面是一些可以帮助你清洗test数据库的Pig脚本： 1. 去除重复元素 ``` A = LOAD 'test' USING PigStorage(',') AS ...
pig常用命令
weixin_34375054的博客
05-27 1323
一、pig： 　　pig提供了一个基于Hadoop的并行地执行数据流处理的引擎。它包含了一种脚本语言，称为Pig Latin。（类似SQL） 二、Pig Latin： 　　1、注释： 　　　　单行：--　　 　　　　多行：/* */ 　　2、输入和输出： 　　　　加载：load '文件' 　　　　　　　　using PigStorage(','); 　　　　　　　　as (ex...
pig基本语法——输入输出存储查看结构
archer的技术故事
09-16 1130
参考官网地址： http://pig.apache.org/docs/r0.17.0/basic.html   基础数据 # cat /root/xytest/pig/data/demodata xiaoxiao,12,12.1 aaa,13,1.1 kjkj,12,12.1 ddf,19,12.8   常规的程序 目前使用的都是pig -x local方式的 A = lo...
mxnet代码剖析之--kvstore篇
slamer的专栏
04-20 5277
class KVStore Updater updater_; std::string type_; 1.1 kvstore节点包括worker, server, scheduler, if(role_str == 'local')节点为worker 1.2 /// ----------------------------------------------------
利用pig导出hbase文件为txt或者csv格式
weixin_30545285的博客
06-14 700
利用pig导出hbase文件为txt或者csv格式 如下例子，将hbase的表test导出文件为txt格式： [root@datacsu2 lilip]# vi loadData.pig source = LOAD 'hbase://test' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage( 'info:CPUCpuUt...
pig 指定行分割符和列分隔符号
幸运小侯子
09-26 191
由于我们的hdfs上抽取的数据是存储行分隔符和列分割符不是用的\n和\t。所以就想能看看是否能指定行分隔符，查了半天没查到。。可能是查找能力有限，呵呵，后来下载下来pig-0.11.0的源码看了一下PigStorage的类，输入inputFormat类指定了就是PigTextInputFormat，这个类直接集成了org.apache.hadoop.mapreduce.lib.input.Text...
LOAD和PigStorage的一些测试例子 (转)
dfug3303的博客
09-27 116
原地址:http://f.dataguru.cn/thread-233064-1-1.htm 因为理解上的错误，在这里被搞糊涂了。通过做测试，应该算是澄清了，所以写出来。假设有个文件叫test,该文件的内容如下(ip地址和url之间有一个空格)：127.0.0.1 dataguru.cn/forum1192.168.1.1 dataguru.cn/forum21.rs1 = LOAD ...
在ubuntu下安装并测试pig以及常见的问题
a925907195的专栏
01-01 3776
1 安装  只安装在namenode节点上即可  1.1 下载并解压  下载：http://pig.apache.org/releases.html下载pig-0.12.1版本的pig-0.12.1.tar.gz  存放路径：/home/Hadoop/ 解压：tar -zxvf pig-0.12.1.tar.gz 改名：mv pig-0.12.1 pig 然后放到/usr/local/h
【pig】load操作
shuhuai007的专栏
12-27 2556
1. divs = load 'NYSE_dividends' using PigStorage(','); NYSE_dividends为相对路径（相对于hdfs空间下/user/yourlogin/），load的input路径可以是目录，也可以是文件 分隔符为",",通过参数传给PigStorage。 2. divs = load 'NYSE_dividends' as (excha
pig关系操作符实例
幸运小侯子
09-27 254
cogroup 　对两个对象模式，分别按指定的字段进行分组，然后按照指定的key列来分组 grunt> cat A; 0,1,2 1,3,4 grunt> cat B; 0,5,2 1,7,8 grunt> b = load 'B' usingPigStorage(',') as (c1:int,c2:int,c3:int); grunt> a...
pig输出gzip文件
The Big Data Way
04-03 222
方法一： grunt> set output.compression.enabled true;grunt> set output.compression.codec org.apache.hadoop.io.compress.GzipCodec; 方法二： grunt> STORE rows INTO '/user/hdfs/xxx.gz';   --en...
大数据文件格式与Hadoop压缩算法详解
"这篇博客文章主要探讨了大数据环境中的文件存储格式和Hadoop支持的压缩算法，涵盖了多种常见的文件格式，如TextFile、SequenceFile、Avro File等，以及压缩算法snappy、lz4、gzip和lzo。" 在大数据处理中，文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值