Pig distinct by field

最新推荐文章于 2018-12-06 18:27:18 发布
最新推荐文章于 2018-12-06 18:27:18 发布
阅读量646 收藏
点赞数
分类专栏： Pig 文章标签： pig
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gsw204/article/details/52598896
版权

pig 脚本本身不支持按field 来distinct
例如以下文本，想按照 前三个字段来distinct, 可以用以下pig 脚本来做

a.txt
1,2,3,4
1,2,3,4
1,2,3,5
1,2,4,4

A = LOAD 'a.txt' using PigStorage(',') AS (a1,a2,a3,a4);
grouped_by_a4 = GROUP A BY (a1,a2,a3);
grouped_and_distinct = FOREACH grouped_by_a4 {
    single = LIMIT A 1;
    GENERATE FLATTEN(single);
};
dump grouped_and_distinct;

dump 出的结果如下：

(1,2,3,5)
(1,2,4,4)
gsw204
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pig Distinct by fields
superye1983的专栏
10-10 2342
PIG自带的distinct只支持整条记录相同的过滤，并不支持对某些字段的distinct PIG的说明如下 You cannot use DISTINCT on a subset of fields. To do this, use FOREACH…GENERATE to select the fields, and then use DISTINCT (seeExample: Nested
Pig学习教程
qq_27960935的博客
11-07 2477
Pig学习 1、Pig Latin简介 Pig是用来处理大规模数据的高级查询语言，结合Hadoop使用，可以在处理海量数据时达到事半功倍的效果。 Pig语句通常按照如下的格式来编写： ❑通过LOAD语句从文件系统读取数据。 ❑通过一系列“关系转换”语句对数据进行处理。 ❑通过STORE语句把处理结果输出到文件系统中，或使用DUMP语句把处理结果输出到屏幕上。 Pig有两种运行模式：Local模式和MapReduce模式。 Pig Latin是一种面向数据流的编程语言，一条语句就是一个操作，得
pig中distinct用法
weixin_30883777的博客
01-11 158
Distinct 只能处理关系中的整个记录，不能是表达式，或者部分域。 --distinct.pig daily= load 'NYSE_daily' as (exchange:chararray, symbol:chararray); uniq= distinct daily; uniq是一个关系relation(类似表，是流对象)。不是表达式 “di...
Pig distinct用法举例
weixin_30496751的博客
06-07 96
dst = distinct data； DISTINCT只能对整个记录（整行）去重，不能在字段级别去重。 触发reduce阶段 data = load 'data'; distinct data; 　　 转载于:https://www.cnblogs.com/lishouguang/p/4559598.html...
Pig入门操作
Hello 我的
03-30 2388
1.Pig是基于hadoop的一个数据处理的框架。MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。 2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。 3.Pig基本数据类型：int、long、float、double、chararry、bytearray 复合数据类型：Map、Tuple、Bag 。Bag的类型如
MySQL去重该使用distinct还是group by？
09-08
主要介绍了MySQL去重该使用distinct还是group by,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
distinct 多列问题结合group by的解决方法
09-11
distinct 多列问题 group by 解决
MySQL中distinct与group by语句的一些比较及用法讲解
09-10
在MySQL数据库中，`DISTINCT` 和 `GROUP BY` 是两种用于数据去重和分组统计的SQL语句，它们虽然都可以帮助我们处理重复数据，但有着不同的应用场景和执行机制。 1. `DISTINCT` 关键字： - `DISTINCT` 主要用于去除...
使用GROUP BY的时候如何统计记录条数 COUNT(*) DISTINCT
12-18
例如这样一个表，我想统计email和passwords都不相同的记录的条数 复制代码 代码如下: CREATE TABLE IF NOT EXISTS `test_users` ( `email_id` int(11) unsigned NOT NULL auto_increment, `email` char(100) NOT ...
解析mysql中:单表distinct、多表group by查询去除重复记录
09-10
例如，`SELECT field1, COUNT(DISTINCT field2) FROM table GROUP BY field1`将返回每个`field1`的不重复`field2`数量。在这个例子中，`COUNT(DISTINCT field2)`确保了`field2`的去重计数。 在文中提到的特定问题中...
Apache Pig的一些基础概念及用法总结
superye1983的专栏
08-17 8692
深入浅出，转一个 转载必须注明出处：http://www.codelast.com/ 转载地址 本文可以让刚接触pig的人对一些基础概念有个初步的了解。 本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解
pig基本认识
u011388423的博客
04-23 936
# pig基础知识##基本类型：```int 4 byte java.lang.integerlong 8 byte 以 L 结尾float 4 byte end with 'f'double 8 byte chararray similarity to java stringbytearray similarity to java byte[]```## 复杂类型```Map<charar...
大数据分析工具Pig详细介绍
Yummy
06-14 1万+
什么是Pig?Pig是一种数据流语言和运行环境，常用于检索和分析数据量较大的数据集。Pig包括两部分：一是用于描述数据流的语言，称为Pig Latin；二是用于运行Pig Latin程序的执行环境。Pig与Hive的区别？Pig与Hive作为一种高级数据语言，均运行于HDFS之上，是hadoop上层的衍生架构，用于简化hadoop任务，并对MapReduce进行一个更高层次的封装。Pig与Hive...
在Django中使用DISTINCT
热门推荐
zhci31462的专栏
07-12 2万+
有时候想用distinct去掉queryset中的重复项，看django文章中是这么说的 >>> Author.objects.distinct() [...] >>> Entry.objects.order_by('pub_date').distinct('pub_date') [...] >>> Entry.objects.order_by('blog').distinct('blog'
Distinct 扩展方法(按字段去重)
stoneLSL的博客
12-06 1917
public class Compare<T, C> : IEqualityComparer<T> { private Func<T, C> _getField; public Compare(Func<T, C> getField) { _getField = get...
消去Python中list的重复元素
JasonLee的专栏
08-20 4977
原文地址：http://www.peterbe.com/plog/uniqifiers-benchmark Fastest way to uniqify a list in PythonSuppose you have a list in python that looks like this: ['a','b','a']  # or like this:  [1,2,2,2,3,4,5,6,6,6,6]and you want to remove all duplicates so you get t
pig基本语法——filter distinct foreach
archer的技术故事
09-16 1075
1、主要参考： https://book.itxueyuan.com/3b7D/9PxP   filter主要用户过滤数据，根据条件查询 基础数据: ============================================== [root@cdh1 data]# cat demodata xiaoxiao,12,12.1f aaa,13,1.1f kjkj,12,...
distinct 去重复，group by 数据分组，还是说拿起就用篇--2（嗯算是吧。）
隐士的远方
04-12 3645
<?php include('./Conf.php'); include('./CEMysql.class.php'); $DB = new CEMysql; $sql = 'select distinct fieldOne,fieldTwo from tableName group by fieldTwo'; $result = $DB -> query($sql)...
distinct group by
最新发布
09-15
distinct和group by都是SQL查询语句中的关键字，用于对查询结果进行处理。 - distinct关键字用于去除查询结果中的重复记录。它会根据指定的字段或多个字段，对结果集进行去重操作，确保每个记录的唯一性。 - group...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值