雾岛心情-CSDN博客

原创 [PowerQuery]Excel获取外部数据与建立查询区别

看起来功能相同的操作，实际上两者功能差别很大。两者的功能差别在哪呢？建立查询区域的功能将是未来生产力中心。为什么这么说，大家可以看看接下来两个选项功能的对比。1.支持数据来源类型Excel获取外部数据支持的数据源类型比较少，目前仅支持文本文件、SQL Server 及Web等类型数据。而建立查询方式支持非常广泛的数据源类型，包含文本文件、Excel文件、SQL Server、MYSQL和网页的API连接都是标准支持的数据类型。2.导入数据处理获取外部数据方式仅仅支持将所有的数据导入到Excel后再进行数据的

2022-07-02 10:56:04 1172

原创 [PowerQuery]Excel 如何开启PowerQuery组件

Excel从2010版本开始提供了PowerQuery组件进行数据的集成，不同的Excel版本使用PowerQuery 的方法略有不同，下面版本的Excel 均可以主动或者被动支持PowerQuery。很多朋友看到这个比较疑惑，为什么OFFICE 早期版本和Office 365 版本不一样呢？早期的2010和2013版本我们需要安装额外的组件才能启用PowerQuery的功能，也就是默认情况下Office 2010 和2013 版本的是不提供了PowerQuery功能，他需要通过安装如下插件来实现Power

2022-07-01 09:39:45 4830

原创 [PowerQuery] PowerQuery各个组件功能

相信熟悉Power系列组件的朋友有些人已经体验到了Power组件带来的便利和计算效率的提升，初入门的朋友需要花费比较多的时间才能真正理解Power组件带来的好处。作为数据处理的Power组件的数据集成和清洗步骤，它是用户数据处理的第一入口，如果不能很好的使用和理解PowerQuery 进行数据集成和清洗，就没有办法完成后面的数据的建模和展现。在PowerQuery组件中，在进行数据清洗和集成主要有四大组件功能，四大组件分工协作，帮助我们高效完成数据的集成和清洗，图中显示了相关的组件功能的组成。这些组件分别是

2022-06-20 16:33:38 772

原创【PowerQuery】Excel和PowerBI的Power组件

随着技术的发展，Python 逐渐走入了普通分析师的眼睛，虽然相比VBA来说，门槛低了很多，但是还是有一定的技术门槛。有没有更加简单的方法呢？当数据量达到几十万、上百万或者几千万，传统的Excel处理方法已经完全没有办法处理这些数据。这时候我们就不得不借助一些重量级BI产品来帮助我们实现数据分析，类似于SAP的BO。随着技术的发展，桌面级别的轻BI产品慢慢走到数据处理平台的中心， Tableau凭借入场早和功能强大占领了大量的轻BI应用市场。微软以行动证明，他不会将这个桌面级别轻BI应用市场拱手送给竞争对手

2022-06-19 09:49:36 608

原创【PowerShell】如何实现Desktop版本到5.1的升级

大家记住PowerShell查询版本的变量，通过执行如图的查询变量可以查询出当前PowerShell 版本。$Psversiontable果查询的版本比5.1 版本要低，意味着你的版本需要升级了，升级到5.1的过程比较简单，通过安装.Net 4.5 最低要求之后，就可以通过安装 WMF5.1的版本更新PowerShell版本，具体链接：https://www.microsoft.com/en-us/download/details.aspx?id=54616，安装过程参考图。升级完成后，重新执行下$psv

2022-06-18 11:37:29 637

原创【PowerQuery】Excel传统数据处理短板和缺点

Excel 处理有缺点？相信很多朋友会不假思索的反问你这句话，对于大多数人来说，适用Excel 已经能够处理工作中的95%以上的问题。你还能有什么问题是Excel 处理不了的？Excel 能够实现数据存储和编辑，函数应用和图标展现，这些都是Excel 最为强大的证明。当然，对于这么一番回应我们必然是无法反驳。因为确实如此，Excel是微软提供的强大的Office 家族里面生命力最为长久，功能最为强大的产品。目前在桌面数据处理和分析与展现工具来说，一定是最强大的工具，没有之一。但是Excel 也有它存在的问

2022-06-18 11:26:58 803

原创 PowerShell和Python能结婚吗？听说他们是相同类型啊，为啥不能，他们互补，非常和谐。

Python 和PowerShell 作为解释型语言，和我们传统的编译型语言有太多的不同，Python和PowerShell 都是边解释边执行。而JAVA 和C 传统语言都是一次编译完毕后执行，这是Pyhton 和PowerShell 与传统编程语言最大的不同。 Python 和PowerShell 作为解释性语言，他们也是进行边解释和边执行的方法进行代码的执行。相比传统的编译执行的语言，我们不在需要进行编译后成执行文件后执行。而解释性语言通常来说，我们通常源代码都直接在文件中，我们通过修改源代码...

2022-02-18 11:18:17 710

原创 Excel 函数功能分享之Find 函数

提到查找函数，在Excel中主要有两个不同的函数： Find 函数 Search 函数这两个函数其实在Excel中没有太大的差别，唯一的差别在于Find 函数区分大小写，而Search 不区分大小写。在查找其他字符串或者非英文方面没有太大的区别，这个函数怎么使用呢？其实非常简单，他有三个参数：查询字符串被查询的字符串查询的起始位置好像挺起来很繁琐，我们来给大家看一个实际的案例：在Excel中的单元格里面有“zhangsan”字符串，我们首先

2022-02-17 20:17:53 1377

原创 PowerQuery中最重要的概念-列表、记录和表

如果说在PowerQuery 最重要的内容是什么？那我将毫无疑问的告诉你下面三个：列表记录表为什么说这三个对象最重要呢？大家来看看在PowerQuery中这三个对象所拥有的函数估计就明白了。目前在PowerQuery中我们可以看到当前的函数中最多的就是Table 函数，其次就是列表函数，而记录函数虽然最少也有十八个。这三个对象为什么重要呢？因为PowerQuery提供的三个组合数据类型对象就是Table\list\Record.我们...

2022-02-17 19:34:33 1289

原创 PowerShell 历史发展版本及路线图

1.0 版本功能与特性发布日期：2006年11月命令数量：129条作为Windows Vista 的组件发布，后来PowerShell 1.0 for XP 和PowerShell for Windows Server 2003 也先后发布。Windows Server 2008 作为系统可选组件集成在系统中。2.0 版本功能与特性发布日期：2009年7月22号命令数量：624条 PowerShell 2.0 以组件的方式集成在Windows...

2022-02-17 18:43:52 475 1

原创数据分析系列-PowerQuery数据集成清洗课程将重新构建，文章也统一重新构建。

PowerQuery数据集成清洗思维导图

2022-01-31 17:41:21 424

原创 PowerQuery系列文章-PowerBI SQL 导入数据与增量刷新

PowerBI 与Excel在数据导入方式与Excel略有不同，它以导入的方式进行数据集成的话，是支持完整的数据导入方式和筛选两种方式的，和Excel的数据导入方式没有太大的差别，这里和大家演示通过T-SQL 数据筛选方式进行数据的导入，通过数据导入方式进行数据的集成。在使用PowerBI进行SQL Server数据导入过程中，以下的参数是相关参数：连接服务器（必选）提供连接服务的SQL Server 服务器连接数据库（可选）如果是以筛选方式获取数据为必选数据库连接方式（必选）数据库

2021-08-10 17:50:56 1377

原创【PowerQuery系列文章】PowerBI引用Python视觉对象

完成了基本配置和外部Python编辑器之后，不同于我们使用使用Python进行中间处理，而是使用Python处理我们需要进行PowerBI 进行Python的视觉对象的引用了。这里先来看下我们的示例数据：接下来依然在PowerBI的PowerQuery的界面中将数据导入到PowerBI中来进行下一步数据的使用。数据导入之后的结果如下：我们可以在字段的内容中来查看导入后的数据：...

2021-07-10 11:32:12 748

原创 PowerQuery系列文章-调用外部Python 编辑器

在PowerBI 调用Python 过程中，有内置的Python编辑界面，但是在实际使用过程中，在PowerBI的Python界面也会有不方便的时候，而PowerBI 预留了调用外部Python编辑器来实现Python代码的编写，我们接下来就给大家分享如何进行外部Python编辑器的设置和调取。首先来设置PowerBI中的Python脚本编写的选项设置，路径如下：文件-选项-Python脚本编写：这里我们引用的是VS code进行代码的编写，VS Code 在代码编写能力上相对于其他的软件更

2021-06-26 18:46:11 437

原创 PowerQuery系列文章-PowerQuery支持Python的前置要求

对于在PowerBI中的PowerQuery来说，有一个非常新的功能，那就是在PowerBI中可以调用Python 来实现中间处理需求或者最终处理需求，这个功能可以实现吗？目前看来还真的可以实现。如果能够实现，我们应该如何实现在PowerBI中运行Python的需求呢？其实要求不难，而且还很简单，大家跟着我一起来认真来了解下PowerQuery 应用到Python的需求有哪些？条件之一就是我们必须安装和部署Python程序本身，目前对于Python 版本的要求没有特别大的需求，3.7 以上的版本会更加合

2021-06-25 15:17:45 440

原创在爬梯子安装Python解决模块安装问题

最近在玩PowerBI和Python集成的问题，安装完成了Python之后，我需要安装Pandas的模块和Mathplot 模块，爬梯子后速度就快很多，但是发现奇怪的是，只要爬梯子，我模块安装就会失败，不爬梯子速度就会很慢，但是su'du...

2021-06-12 23:47:33 1605 2

原创 [PowerShell]-解释型语言

解释型语言其实发展也比较长时间了，目前虽然没有明确的哪个语言是解释型语言的鼻祖，但是大家比较公认Matlab。Matlab最早出现在1984年，它最早应用于数学建模领域，大大的推动整个整个数学行业向前发展。而让Matlab 能够发展的原因也恰恰是因为它的解释特性，因为在进行研究过程中，我们需要不断的修改相应的数据计算方法和参数，通过修改这些参数直观的看到这些参数对于结果的影响。而编译型程序在解决这个问题上通常会比较难，而且需要大量的时间进行调试和编译。基于此原因，团队的成员就自己构建了一套语言体系，就产生了

2021-04-27 16:33:44 475 4

原创【Excel函数】相对定位与绝对定位

在Excel中，函数是使用相对比较频繁的功能，而在函数使用过程中，我们的参数通常包含两类，一类是绝对定位，另外一类是相对定位。相信这个对于学习Excel 萌新们是绕不过去的坎。到底什么是绝对定位，什么是相对定位呢？相信在初中学习物理的时候一定都听到过两个词，相对速度和绝对速度。试想下，上面一列和谐号250公里，另外一列复兴号350公里。那么他们相对速度是多少公里？相信很多朋友不假思索就可以说出答案。那么在Excel中也存在相应的绝对定位和相对定位。我们根据它的表现形式来给它下一个定义：绝对定位

2021-04-27 16:14:42 2675

原创【区块链】数字货币中的智能合约

智能合约是Nick Szabo最先于1997年提出来的，这个家伙比较厉害，他是计算机科学家，法学学士和密码学家。他当时可以说提出了这个超越他的时代问题，带来了数字化货币的产生。他提出了一个啥问题呢？他提出这个问题的是希望能够解决存储合同时候碰到的一个问题，如果采用单一的副本的存储合同，合同丢了怎么办。能否使用多副本的方式存储这些合同呢？说实在这确实是一个非常超前的问题。随着计算机技术的发展，智能合约就产生了，智能合约和我们签订的纸质合约最大的不同在于智能合约完全存储于计算机。那智能合约和我们

2021-04-26 20:01:59 1378

原创 Office 365 函数之Substitute函数

Substitute的方法也是字符串替换方法，但是它的替换方式和Replace 不同，Replace方法是进行多个字符进行替换，而Substitute的方法是进行旧字符串和新字符串的替换。它的命令执行方法如下：Substitute(旧字符,旧字符,新字符,第几个（可选）)相比Replace的方法，Substitute应用的场景是进行字符串的替换，同时可以选择出现的第几个字符串的字符。下面我们使用的案例分享下使用Substitute方法：示例数据Zhangsan:10:maleLisi:5:

2021-04-08 15:57:52 422

原创 Office 365 函数之Replace 函数的使用

Replace 函数是替换字符串函数，用来进行字符子串的替换，但是Replace方法的替换方法不同于后面的Substitute，Replace方法有如下的参数：Replace(旧字符,起始位置,结束位置,字符子串)这里是利用Replace进行字符子串的替换，Replace到底是怎么用的呢？我们来以一个经常在实际应用场景中使用的非常频繁的场景，就是将电话号码的一部分隐藏：电话号码18798760988182883603881376528990913465289876我们需要将中间

2021-04-08 15:31:14 662

原创 Office 365 函数之Concatenate 字符连接函数

Concatenate 通常用于多个字符串的连接，Concatenate的命令使用方法如下：Concatenate（字符串1，字符串2，字符串3，字符串4，字符串5，字符串6）使用Concatenate进行字符串连接仅仅实现了字符串的简单连接，它没有办法在字符串之间进行分隔符。什么意思呢？我们下面来举一个例子来分享下Concatenate的使用：= Concatenate(“张三”,”李四”,”王五”,”赵六”)结果是：张三李四王五赵六如果希望在字符串之间需要进行分隔符进行连接：.

2021-04-08 15:05:49 629

原创 Office365 函数之Mid中间截取函数

Mid 函数是用来进行中间数据截取的，通常在使用到的场景下是中间数据进行截取，mid函数的使用方法如下：=Mid（字符串,截取起始位置,截取字符）这里通过身份证号码作为案例分享如何提取年月日，下面是身份证示例：身份证号码11020319890921234123450419930201234x320435200101032451我们通过使用Mid函数进行生日提取：=mid(a1,7,8)...

2021-04-08 12:02:50 1296

原创 Office 365 函数之Right函数

Right 是用来进行右边数据的获取,使用Right 进行数据相应的数据，Right的函数的执行方法如下：Right(字符串函数,字符数值)这里谈一下使用场景，使用场景中通常会有什么场景呢？就是需要某一类类型的字符右边的数据，我们下面也提到了这样的一个场景，就是得出电子邮件的域名。电子邮件zhangsan@abc.comlisi@cde.comwangwu@def.comzhaoliu@fgh.com我们可以利用right方法将域名提取出来：=right(A1,len(a1

2021-04-08 11:23:25 436

原创 Office系列函数之Left函数的使用

Left 函数是用来进行数据的自开始进行切分的函数，Left函数只有两个参数，第一个参数是我们的需要进行切分的字符串，第二个是切分的字符数。Left（被切分的字符,切分的字符数）谈到使用场景，我们经常用来进行姓和名的切分。如果名字长度是三个则姓为第一个字符，如果名字长度为四个及以上则前面两个字符为姓。我们可以非常方便的使用left 函数结合Len的函数进行姓名的切分。下面是我们的案例的样子：姓名张三李四张德到欧阳惠子欧阳章玲接下来我们利用Left函数将姓提取出来：=if(

2021-04-08 10:55:52 2431

原创 Office 文本函数之Search函数

Search函数的使用方法与Find函数非常相似，差别在于Find函数查找的内容是大小写敏感的，而Search的函数使用过程中是忽略大小写敏感的。这里使用Search函数来进行数据的查询的方法如下：Search（子子串,字符串）在查询过程中，如果没有查询到相应内容会返回错误信息：...

2021-04-07 21:42:25 369

原创【Excel函数】-Excel字符串系列函数之Find查找函数

在Excel函数中，有非常多的Excel的常规函数使用的场景，我们本篇文章就和大家一起讨论下Excel的文本系列函数的使用。我们将在本次文章分享中分享如下函数的使用：Find 函数 Search 函数 Left 函数 Mid 函数 Right 函数 Concatenate 函数 Replace函数 Substitute 函数 Text 函数 Trim 函数 Len函数这些函数具体有一些什么场景，它们的使用方法是什么呢？这是我们这次分享的主要的内容，首先我们来看下Find函数的使用，

2021-04-07 19:56:07 3600

原创 PowerQuery系列文章之十三-利用自定义函数进行批量数据内容提取

相信大家在使用Excel过程中一定会碰到一些需要将数据合并的情况需要处理，比如在文件夹中需要进行多个文件数据合并，而这个合并通常有两种类型：多个相同表格式文件需要进行数据再处理文件多个相同的表格文件是基于表头形成的标准行结构的文件。就如下面这样的文件，通常希望在文件夹查询和合并多个CSV文件所需要的执行的动作，类似于如下的需求：我们来看下表头，都是一样的表头，文件的每一行都有数据，这样的数据对于PowerBI 合并来说非常简单，也是非常常用的一种场景：如果希望将这些数据合并在...

2021-04-07 14:43:44 981

原创 PowerQuery面向文件解析的几个函数-PowerQuery系列文章之十二

在实际的业务场景中，我们可能会碰到非常多的使用PowerQuery进行文件处理的案例。文件处理会有一些什么场景呢？CSV文件读取 CSV文件读取是标准的格式化的数据读取方式，将二进制转换称为CSV文件 Excel文件读取 Excel文件是将读取人读入的二进制文件转换成为Excel格式进行读取 XML文件读取 XML格式将二进制数据转换称为XML格式进行数据读取 Json文件读取 JSON格式读取是将二进制数据转换称为Json格式进行数据读取这些都统统指向了本地的...

2021-03-19 12:03:03 1433 1

原创什么是PowerShell，一起来看看自动化的历史发展阶段

下面是我们的运维的背锅侠-小铭同学，小铭同学将陪伴着我们认真学习PowerShell的各类不同的知识。那么到底PowerShell 是什么呢？先来了解下开发语言的历史发展阶段：人类发展的历史进程是从农耕社会向工业社会的自然演进过程，中国上下五千年历史中，有关机器帮助人大幅提高生产力的传输也不少。古人中最著名的能工巧匠鲁班，有非常多的关于他的传说，其中一个很有名的传说是发明木雀，飞行三日而不落地。三国时候的诸葛亮发明的木牛流马，也是传说非常广的一个自动运行的运粮机器，随着社会进步，第一台..

2021-03-18 19:39:53 716 1

原创【Excel函数系列】Vlookup、Xlookup、Dget和Hlookup，这些函数究竟怎么用呢？

相信很多朋友听说过Vlookup，但是大多数朋友对于Hlookup和Xlookup及Dget 函数却了解的不多，甚至有很多朋友可能连Hlookup和Dget函数听都没听过。那么这几个函数分别应用在什么场景下呢？我们接下来和大家一起来捣鼓捣鼓这几个函数的用法：首先来看看用的最多的函数Vlookup，相信很多学习Excel的朋友一上来估计就被Vlookup 弄得头昏脑胀，不懂，听懂了没？还是不懂，再听一遍！懂了！怎么还是错的？我们知道，应用一个函数的时候我们需要了解我们的函数使用场景，如果.

2020-11-19 16:16:19 3344

原创【Excel函数】Office365 函数之Mid 函数使用

我这里

2020-11-14 21:35:47 816

原创 PowerQuery 自定义函数案例使用直播

主题1：利用Excel的PowerQuery自定义函数实现上下级查找主题2：利用Excel的PowerQuery 功能实现东方财富网的数据抓取时间长度1~1.5小时直播日期：11月16日直播时间：下午4点30-6点直播平台：Bilibli直播地址：http://live.bilibili.com/22199605欢迎大家到时候直播评论，弹幕，刷礼物。...

2020-11-14 15:11:46 469

原创【Excel 函数】Office 365 之Excel函数之Right

上一篇文章我们给大家分享了Left 函数的使用方法，本篇文章就给大家分享下Right的使用方法，Left 和Right 都属于字符串截取的方法，很多朋友就会有疑问，为什么我们有了Left 方法，还要有Right 方法呢？这个问题回答起来非常简单。因为世界有左也有右。左边有了，右边没有？这不符合世界的规范啊。当然这是我们开玩笑说的，其实为什么左边函数有了，右边函数也必须要有呢？这是因为不同的应用场景决定的。比如下面这个例子：zhangsan@docsop.comlisi@docsop...

2020-11-09 20:42:44 512

原创【Excel函数】Office 365 之Excel函数之Left函数

从本篇文章开始，我们将会对目前所有的Excel 本身再用的和未来会使用的Excel 函数做一个回顾和学习，希望大家和我一起来学习Excel 相关的函数，和大家一起探讨下Excel 函数的使用。详细学完这个系列函数内容之后，你就会深入的理解到Excel 函数在各个场合中的使用。Excel 函数从函数的使用上分为6大类。我们来看看有哪六大类呢？当你觉得你要学习的函数过多，你只看上面这张图你就会知道你学的函数类型其实不多，只有6大类型：文本处理函数逻辑运算函数关联匹配函数...

2020-11-06 23:26:55 1016

原创 Excel PowerQuery系列文章之API 数据获取-自定义函数使用

我们在上一篇文章中给大家展现了通过Excel 进行API数据的获取的方法，我们同时建立了自定义函数来实现我们的数据获取，如果单一从一个代码进行我们的基金净值获取，我们直接输入相应的代码就可以了，现在我们需要基于不同的代码得到不同的基金净值结果，这个是我们通过之前结果得到的函数调用的结果。但是如果我们的代码不是固定的，而是根据Excel的结果选择我们的股票代码：...

2020-11-03 13:05:36 1544

原创 Excel PowerQuery （PowerBI）提取API的数据之一-提取固定结果的数据

我们前面给大家分享了Excel的PowerQuery 进行Web的数据提取，PowerBI 拥有目前Excel 所没有的函数，能够提供更加高级功能

2020-11-02 23:06:28 2939

原创 PowerBI 进行数据的抓取-PowerQuery系列文章之十一

我们前面给大家讲了如何在Excel中进行我们的网页数据的抓取，PowerBI 提供的是另外一种网页的抓取形式，这种形式可以实现的方式相比Excel 提供更加完整完全的功能，帮助我们可以从另外一种方式的数据爬取方式。我们本次课程就以这个为例子给大家分享我们如何利用PowerBI 来进行数据抓取。我们这次以什么页面为例子呢，我们以MVP的访问页面来进行网页数据获取页面，我们的页面获取地址如下：...

2020-06-28 17:18:21 1994

原创 PowerBI（Excel）提取Web数据-PowerQuery系列文章之十（Excel篇）

现在有个非常有名的词语，就是爬虫。爬虫使用的最为广泛的使用方法是Python，但是你知道吗？Excel 也能够做爬虫，PowerBI也可以做爬虫。这个在很多人的意料之外了。我们本篇文章就和大家谈谈如何进行数据的爬取。我们先来从Excel 开始吧，Excel的数据爬取相比PowerBI的功能稍微会比较弱一店，所以我们先从Excel 开始进行我们的数据获取，我们来找一个范本网页。我们先打开Excel，在数据页签找到WEB输入。在输入WEB 界面中，我们填写WEB 网址：我们能够发现我们的数据

2020-06-22 12:08:12 1804 2