[Power Query] 删除重复项

最新推荐文章于 2024-06-15 10:53:09 发布
最新推荐文章于 2024-06-15 10:53:09 发布
阅读量3.2k 收藏 2
点赞数 2
分类专栏： Power BI # Power BI数据清洗 文章标签： PowerBI PowerQuery 数据源 删除重复项 数据清洗
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hudas/article/details/127937941
版权
这篇博客介绍了如何在PowerBI Desktop中导入数据源，并通过PowerQuery查询编辑器进行数据清洗，特别是针对‘城市’列删除重复项的步骤，以确保数据的唯一性和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数据源 

将数据源导入到Power BI Desktop，单击【转换数据】选项，进入Power Query查询编辑器界面

选中需要删重的"城市"列，鼠标右键选择【删除重复项】选项

删除重复项的结果如下图所示

excel删除重复数据保留一条_【Power Query】数据清洗 - 删除重复项
weixin_39876856的博客
11-30 3503
Query删除重复项的功能与Excel自带的删除重复项功能相同。 但仍有需要特别注意的地方。 [基本原理] 有以下5行数据，根据客户名称，删除相同项。 首先发现的是，客户名称本身已经排好序。如果此时对第三列删除重复项。 则会默认删除同类项的第一个。 删除后保留下来的是第1，3，5行的数据。删除前删除后Q：如果要求知客户其中一次...
2.1 Power Query常用操作（上）
qq_32314533的博客
05-12 3020
Power Query支持的操作非常丰富，其中最高频的操作基本都在菜单栏的“主页”选项卡，以及主界面的右键菜单中覆盖，因此本节会先按顺序介绍一下这部分功能。如下图所示，笔者将“主页”选项卡中的操控按钮分为六组，按顺序进行讲解。其中有些项目会与别的菜单项重复，大家可以按照自己的使用习惯选择相应的入口。此外，主界面的右键菜单中的高频操作也会按相同的逻辑分类，伴随这六个部分的讲解穿插进来。
在Power BI中删除重复数据 - 数据查询篇（Power Query）
热门推荐
Fluffy的百宝箱
06-27 3万+
使用Power Query （M语言）在Power BI查询编辑器中删除重复数据。
power BI中删除表格重复行步骤
Incroyable的博客
05-24 5524
由于种种原因导入power BI的数据存在重复行，需要删除，步骤如下： （1）“开始”-“编辑查询”：此时会新打开一个窗口 （2）在新窗口中“选中目标列表头区域右键”-“删除重复项” 此时删除的是全表的重复行。 ...
Power Bi Desktop 的删除重复项 和 Excel 的删除重复项的一样的吗？
STR_Liang的博客
07-18 2543
先说结论： 目前来看，Excel可以实现单行删除重复项，但是在Power Bi中，无法实现，只是可以全部删重（就像Excel选中全部再删重一样的效果） 过程： 众所周知：Excel的删除重复项是这样的： 1、选中某一列删重 （这一列一致的全部删除，会破坏原有数据的二维规律，即对齐数据会被破坏） 2、选中全部删重 （全部一致的才会删除，不会破坏二维数据的规律，即对齐数据不会受到影响） 那么，在Power Bi Desktop 中，又是怎么样进行删除重复项的呢？不清楚，那就试试...
PowerQuery（导入数据，行操作，列操作，提取与转换，删除重复项，删除错误）
weixin_51322574的博客
06-19 3371
PowerQuery powerBi包含什么 PowerQuery PowerPivot PowerView PowerMap 数据菜单下的——获取和转换 导入数据 从txt 从csv 从Access 从excel 字符集 从网站 转换数据 进去query编辑器 ...
Power Query学习笔记（四）
qq_44236350的博客
04-11 3510
文章目录前言一、Power Query的基础操作二、行的基础操作1.保留行1.1 保留最前面几行1.2 保留最后几行1.3 保留行的范围1.4 保留重复项1.5 保留错误2.删除行2.1 删除最前面几行2.2删除最后面几行2.3 删除间隔行2.4 删除重复项2.5 删除空行2.6 删除错误总结 前言 上一章我们学习了Power Query对列的基础操作，接着学习Power Query编辑器对行的操作。 一、Power Query的基础操作 Power Query基础操作包括对列的操作、对行的操作、查询操作
power query 入门手册
05-24
【Power Query 入门手册】是一本针对Excel报表自动化工具PowerQuery（简称PQ）的初学者指南。Power Query是Microsoft Excel中一个强大的数据预处理工具，它允许用户轻松地清洗、转换和整合数据，为数据分析工作提供...
Power Query数据清洗的常用操作
天平kaiwei
12-02 4733
1.提升标题 在Excel中第一行为标题行，从第二行开始才是数据，但在Power Query中，从第一行开始就需要是数据记录，标题在数据之上。一般情况下，Power Query会自动完成提升这个步骤，如果没有，或者需要手动设置时，单击功能栏的“将第一行用作标题”就可以了，如图2-3-1所示。 单击“将第一行用作标题”旁边的下拉按钮，还有一个“将标题作为第一行”选项，实际上就是拉低标题，这个功能也特别有用。 2.更改数据类型 设置正确的数据类型非常重要，在后期数据建模和可视化过程中，很可能出现一些意想不到的
PowerQuery_2.56.5023.1181 (32-bit) [zh-CN].rar
03-25
2. 数据清洗与转换：PowerQuery提供了一系列高级的数据清洗和转换功能，如重命名列、删除重复项、合并查询、拆分列、应用公式等。这些功能使得数据预处理过程变得更加直观和高效。 3. 自动化工作流：利用PowerQuery...
Power BI（三）Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视
可乐联盟
03-23 1万+
Power BI（三）Power Query知识点 本篇博客主要讲解Power Query以下知识点： 删除重复项 数据格式的转换 数据的拆分合并提取 删除错误 转置与反转 透视和逆透视（二维表与一维表的转换） 数据格式的转换 如下图，我们有一组数据，但是发现其格式很不符合我们建模数据的需求，需要进行处理（比如姓名列有回车、空格多余字符、英语名字中间间隔两个空格、Last n...
Power BI 不重复计数函数
活到老学到老
02-02 4560
该函数的语法如下： DISTINCTCOUNT( columnName ) 其中，columnName 为需要进行计数的列名。其中，tableName 为需要进行计数的表格名，columnName 为需要进行去重计数的列名。常用的函数包括 DISTINCTCOUNT 函数和 COUNTROWS 和 DISTINCT 函数的组合。但是，有些情况下我们需要对数据进行去重计数，即不重复计算某个数据出现的次数。总结 在 Power BI 中，不重复计数函数可以帮助我们对数据进行去重计数。
Power BI测试删除重复项，会保留哪一个~ 2020-7-18更新（时隔一年，发现自己曾经以为的，并不是真相...）Power Bi中是可以抵消Excel源数据的排序影响的！
STR_Liang的博客
07-08 3426
先上原表格： 测试SKU编码 销售数量 585958365 358 585958365 333 585958365 369 585958365 88 682538365 1058 786668743 2658 由于工作中会经常遇到重复项，删除之后担心留不到自己想要的数据，所以做一个测试 如上图，是原表格，导入BI中。 ...
Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视
前景
07-05 1312
Power Query数据格式的转换、拆分合并提取、删除重复项、删除错误、转置与反转、透视和逆透视
【提问】关于Power BI 中对列进行去重并求和的问题
kaikaixili的博客
05-09 2020
由于一些特定的业务需求，我需要在PowerBI 中通过Dax公式对下面的表格进行处理。我需要通过Dax函数实现这个计算，不能改变BI 中读取到的原始数据。计算出的求和结果 服务规范=2.5 系统应用=5。1.对标记有去重标识B的数据，对E列进行去重.
PowerBI系列之Power Query专题
04-29
PowerBI系列之Power Query专题1.  获取数据 数据源种类介绍和获取Excel数据源输入数据和拷贝数据：创建辅助表解析Json/XML数据格式获取Web网页数据和URL添加动态参数连接数据的四种模式：Import、DirectQuery、Live Connection、Dual双 属于混合模式连接数据库：Sql server、 Mysql（直连但是必须先安装一个mysql插件）DirectQuery直连查询：Sql serverODBC方式获取数据表关联或多个Sql或调用存储过程获取数据SQL中动态传参和自定义函数: sql中使用参数或数据库名称使用参数连接Sharepoint和OneDrive数据源连接Dataset和Dataflow 替换本地数据源为Sharepoint数据源并保留数据处理操作 终止当前数据刷新Loading：Cancel Query数据源设置-重置数据连接凭证PBIDS连接数据源创建和使用报表模块（输入或值列表）利用报表模板和参数控制线下报表数据权限DirectQuery启用自动页面刷新和更改检测管理聚合表提高DirectQuery查询性能动态M查询参数提高DirectQuery查询性能添加数据刷新时间 DateTime.LocalNow()和Getdate()2.  数据清洗和M语言M语言和官方文档介绍PowerQuery中查阅M函数：=#shared, Ctrl+Space提示数据清洗之常用技能：提升标题、更改数据类型、保留删除错误或空行，删除重复项、选择列和删除列、填充单元格、合并列、拆分、提取、替换、条件替换、添加自定义列，添加条件列、添加索引列、分组、添加年月日列、追加和合并查询透视和逆透视以及转置合并单元格的Excel文件处理导入文件夹中多Excel文件并合并解决多文件合并中列顺序不一致使用参数和函数批量导入文件 文本中提取中文、英文、数字等处理双引号转义 列拆分详解解决列名改变错误解决列丢失错误动态显示、排序和重命名列为所有列名添加前缀列名字母大写和分隔符调整Trim标题列中的多余空格如何处理load数据错误为什么load的Excel数据有null空行为什么load的Excel数据标题在第二行灵活添加占位符规范同类相似数据数据按多列排序为分组添加Index序号分组内值合并诊断工具分析数据处理过程PowerQuery小技巧分享 新冠病例活动轨迹地图标识 
PowerQuery学习总结
qq_45838249的博客
06-15 1万+
Power Query工具的学习和使用
20、Power Query-数据合并、拆分
少年休闲海
01-10 2万+
本节重点：熟练使用Power Query中的合并以及拆分功能。 例子：下面是学生的考试成绩表，要求将其合并到一列中，用“/”分隔，没有考试成绩的不显示。 效果图： 这里我们将用到PQ中的“合并”功能，具体思路是：将数据源分为三个表进行操作。 表1、原始数据源保持不变； 表2、将分数用科目名称填充； 表3、将分数用分隔符“/”填充； 最后进行三表按照“姓名”进行合并，最
14、Power Query-行列管理
少年休闲海
01-03 7560
Power Query-行列管理 要求： 根据上图中的班级、学生、成绩，提取每个班级里面分数最高的以及最低的学生，按如下要求显示： 为了讲解这个行列的应用，这里采用这种方法进行处理，具体思路是：首先找到每个班级的首名，其次找到每个班级的尾名，最后进行追加合并。 首先获取每个班级的第一名，先按班级进行升序排序，然后按分数进行降序排序，这样的话，我们只要提取每个班级的第
power query 合并查询重复行
最新发布
01-11
### 解决Power Query中合并查询后的重复行 在处理Power Query中的合并查询时，如果遇到了重复行的问题，可以通过内置的功能轻松解决这个问题。当数据源被导入至Power BI Desktop并点击【转换数据】选项后，可以进入Power Query 查询编辑器界面，在这里能够执行多种数据清理和转换操作[^2]。 #### 使用删除重复项功能 对于去除重复行而言，最直接有效的方法就是利用Power Query提供的“删除重复项”工具。具体来说： - 进入Power Query 编辑器之后找到含有重复记录的数据表； - 选中那些可能存在重复值的一列或多列（如果是基于整个行来判断是否重复，则全选所有相关联的列）； - 接下来点击界面上方菜单栏里的“移除”按钮组下的“删除重复项”，这样就可以快速消除完全一致的冗余条目了； 此过程不仅简化了后续分析流程，而且提高了最终报表的质量与准确性。 ```m let Source = Excel.Workbook(File.Contents("C:\path\to\yourfile.xlsx"), null, true), Sheet1_Sheet = Source{[Item="Sheet1",Kind="Sheet"]}[Data], ChangedType = Table.TransformColumnTypes(Sheet1_Sheet,{{"Column1", type text}, {"Column2", Int64.Type}}),//假设需要改变某些列类型 RemovedDuplicates = Table.Distinct(ChangedType)//这一步骤用于删除重复行 in RemovedDuplicates ``` 上述M语言脚本展示了如何通过编程方式实现相同的效果——即先加载工作簿再指定特定的工作表作为数据集的一部分，接着调整各字段的数据格式最后调用`Table.Distinct()`函数完成去重任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值