- 博客(503)
- 资源 (25)
- 收藏
- 关注
RSS订阅原创 PowerBI(Excel)导入SQL Server 数据-PowerQuery系列文章之八
通常来说，数据库相比Excel 来说，能够提供更多的数据存储，我们知道Excel 最多也只能提供104万行的数据，但是更多的，Excel会告诉你，我实在装不下了。当我们有需要存储更多的数据，我们就需要使用数据库来进行数据存储，当然Access 也是标准的文件型数据库，但是相对来说比较简单，我们就不给大家讲了。当然数据库也有非常多的类型，我们不会给大家讲太多的数据类型的数据库，我们会选择SQL Server 和MYSQL 来给大家分享如何进行相关的数据库的数据获取，我们本节课讲给大家分享的是SQL
2020-06-16 10:12:46
1874
原创 PowerBI（Excel）导入Json 数据-PowerQuery 系列文章之七
我们前面一篇文章讲过，XML、JSON和Yaml 是在现实中我们会用来进行数据交换和传递的数据，我们前面给大家分享了最简单的数据交换格式XML。接下来我们给大家分享下JSON数据格式的解析。接下来我们给大家分享下JSON数据的导入，JSON的全称是 java script object notation，我们通过这个能够看出，JSON最初的目标是以Javascript 对象的方式进行数据的传递和存储。但是没有想到目前JSON已经成为了当前网络世界一种通用的数据传输格式，目前互联网基本上90%以上的数据传
2020-06-15 08:44:40
2577
原创 PowerBI（Excel）导入XML数据-PowerQuery系列文章之六
HTML 是网页进行数据展示语言，通过前后闭合的标签来实现网页内容的展示。而XML 作为扩展语言标签，能够基于自己的XML 是早期应用相互进行数据传递的格式，HTML 是网页进行数据展示
2020-06-14 22:42:00
985
原创 PowerQuery 导入Excel 内容-PowerQuery 系列文章之五
Excel 文件和CSV 的文件最大的差别在于Excel 可以包含多个表，而我们的CSV 只能当作一个表数据导入，因此当我们的数据表的内容包含多个表的时候，我们就需要使用导入Excel 的这个方式进行我们的数据导入了。我们先来看看CSV 和Excel的不同点。CSV的格式数据非常的固定，数据类型也相对来说比较固定，所有的数据都是字符串类型。格式分隔符可能是空格、逗号、分号及制表符等等分隔符，我们的数据直接可以不用任何驱动进行读取。数据格式如下：但是我们的Excel的文件就包含了我们多个CSV
2020-06-13 10:44:56
1108
原创 PowerQuery 实现数据导入CSV 功能-PowerQuery 系列文章之四
谈完了我们在Excel 和PowerBI 中de 界面，我们需要谈点啥子呢，曾经有位哲人说过：所有的技术都是为业务服务的。 -徐鹏你肯定再问，这是哪位大神？这大神就是我了。好吧，我还活着，无法成为名人名言。有了工具，我们想提高生产力，毫无疑问我们需要面对真实的业务才能产生效益，今天呢，我们来看下实现我们的最简单的数据CSV数据的导入方法。CSV 数据是一个非常标准，也非常原始的数据构成，它通常由分隔符进行数据的分隔。...
2020-06-12 11:21:08
2986
原创 Excel与PowerBI 之PowerQuery 编辑界面异同-PowerQuery 系列文章之三
谈完了基本数据导入界面，接下来我们来谈下我们的PowerQuery 的基本界面。在Excel中，PowerQuery的入口没有像PowerBI那么容易找到，我们要翻山越岭，然后找到一个菜单，才能够进入到我们的PowerQuery的编辑器界面，PowerQuery 编辑器究竟在哪里呢？我们一起来找找看。我们转了一圈发现它就在这里：我们点击后进入到PowerQuery 界面，发现这个界面好像可以做的事情比较少，其实这个是我们自己给自己的错觉，其实PowerQuery 能做的事情太多了，多到你可能无法
2020-06-11 10:30:47
1680
原创 PowerQuery的数据获取界面(Excel及PowerBI)的异同-PowerQuery系列文章之二
我们前面给大家讲了有关PowerQuery的使用的界面和场景，接下来我们在PowerQuery的界面中来了解下我们的PowerQuery 在Excel 和PowerBI 中的异同。 我们知道Excel 和PowerBI 在进行数据处理的时候有侧重点和偏向，但是从PowerQuery的界面来说还是基本上是相通的。我们就从Excel 的PowerQuery 和PowerBI中的PowerQuery 来和大家分享下我们的界面的异同点。 首先我们来看下Excel 中的PowerQu...
2020-06-10 17:56:42
2016
原创 想放哪里就放哪里，快速移动数据透视表！
数据透视表，是我们的数据工作者每天需要面对的“对象”，他可能很漂亮。也可能让你没眼看：但是对于数据工作者呢，我们必须对我们的“对象”，见一个，爱一个，否则你会被淹没在我们的“对象”中不可自拔。今天呢，我们不谈对象，也不谈如何获取对象，我们来谈一下Excel 初学者经常碰到的问题，Excel 最喜欢欺负的就是这些刚刚进入到Excel 星辰大海的小白白们。今天给大家...
2020-05-05 11:36:08
732
原创 利用PowerQuery 快速进行限定时间表创建
时间是永恒的，他对于我们像一个射出去的剑，永远不会回头。 曾经我以为这句话是绝对正确的，直到有了爱因斯坦，有了相对论，我们才发现时间也可以随着运动速度加快而变慢。古代神话中的天上一天，地上一年真的存在。好像有点偏题了，我们来纠正下话题。我们谈论下现实中的时间。现实中的时间有什么作用呢？当然有很大的作用，如果你认为他没用，那真是白活了。从...
2020-04-28 15:08:59
808
原创 PowerShell 运行内存无法释放问题！
我们当需要很长时间执行我们的PowerShell 命令的时候，比如需要执行几个小时。我们会发现我们的PowerShell 耗用的内存越来越多，很快就执行满了，系统运行变得非常缓慢。我们怎么解决这个问题呢？我们能不能像下面的这个命令一样，内存始终保持一个恒定值？我们发现我们的内存基本上恒定，不会因为我们的过多的参数耗用较多的内存。其实PowerShell 是基于.NET环境构建的语言，....
2020-04-20 19:43:14
1769
2
原创 使用PowerQuery 合并多个表单数据（PBI和Excel可用）
经常有一些头疼的问题，是我们的HR或者合同管理员非常头疼的。比如我想知道合同啥时候到期，我们的Excel请假表中人员的请假种类和他们的请假天数，我如何进行统计和跟踪呢？这些问题很多时候我们在面对几百个甚至上千个文件的时候是异常头疼的事情。如何解决这个问题呢?好消息来了，我们的Excel 集成的PowerQuery 能够帮我们解决这个头疼的问题，我们先来看看我们的数据表格式：然后我们...
2020-04-15 17:15:37
2009
9
原创 Excel PowerQuery 抓取经纬度，真的可以？
这个标题值得玩味啊，这不是脚本语言的功能吗？Excel 也能实现？我有点不信啊。不管你信不信，我就这么做了，拽不拽，看完文章再说！！！！下面就要开始了，下面就要开始了，下面就要开始了，重要的事情说三遍，请跟着我左手右手一起慢动作。我们先来给大家看下我们的原始数据，我希望把这些地址转换成百度坐标，可以吗，问你呢？看起来是街道地址，还比较完整，作为查询经纬度的地址肯定没...
2020-04-13 22:09:44
867
原创 【数据工具】我的数据能立起来，你的可以吗？
我想有些Excel 粉看到这个标题一定很有疑惑，是怎么立起来？是这么立起来吗？我的回答是No。是这么立起来？还是这么立起来？你想啥呢？下流就是你了，要不要再给你一拳？在想歪就给你一个白眼。今天我们给大家分享的内容是啥呢？就是我们的Excel中的强大功能，PowerMAP。利用PowerMAP 我们可以做出非常漂亮的图图哦，下面这些...
2020-03-25 14:27:48
312
原创 Excel 能抓东财的基金信息，你说的是真的吗？
前几天，有个朋友在看了PowerQuery抓取全球MVP的文章之后问我：能不能抓到东方财富网的5000个基金的数据呢？我看了下页面，觉得没有太多难度，就答应下来了。 但是实际上我们发现没有那么简单，为啥呢？且跟着我们的步骤一步一步看下来。首先我们来看看我们的基金网页所在的网址：http://fund.eastmoney.com/data/fundranking.html ...
2020-03-09 22:44:24
783
原创 PowerQuery与M语言之什么是PowerQuery和M语言！-PowerQuery系列文章之一
很多的朋友对于PowerQuery 的理解是Excel 中进行我们数据集成的功能而已，在很多的业务场景，大家也更倾向于将业务数据导入到Excel 进行处理，但是如果我们导入的数据源来自于以下的数据源该怎么办？Oracle MYSQL JSON PostSQL 很多朋友肯定说，这些数据在Excel 默认的数据源中不支持，我们就可以建立相关的ODBC链接到相关...
2020-03-03 15:02:40
1781
原创 表哥表妹们，Excel2019 给我们带来好东西了-新函数帮你来了！
作为“表哥”，“表姐”们，我们很喜欢的数据就是格式化很好的，数据也很规整的。我们希望看到的东西就是让我们心花怒放的。但是，现实总是残酷的，拿到数据之后，我们发现经常是这样的： 我们的心情总是这样崩溃的，特别是要引用无比难记忆的函数的时候，我们内心说实在是更加崩溃的。我和大家一样，越简单的函数，如果没有函数的时候，我会更加欢天喜地。但是，作为资深“表哥”告诉你，不要...
2020-03-02 18:47:29
789
原创 关于POSTSQL 的语言编码问题！
当你在使用POST SQL 进行数据导入的时候，有时候导入会出错，出错会提示我们的编码没有对应的编码值，这个时候，我们需要修改我们的系统在客户端的编码：这是因为我们的客户端编码不一致造成，我们怎么来查询我们的客户端编码呢？执行如下指令：select name,setting,context from pg_settings where name like '%encoding%';...
2018-11-24 11:18:01
668
原创 如何使用PowerBI将文件夹的内容中的所有文件合并为一张表进行统计
PowerBI是个很不错的工具，在中国的应用热度也非常广，能够很方便的来分析企业内部的各个业务系统的业务。HR可以用PowerBI分析每个人的绩效，销售可以用来PowerBI 来分析每个用户的质量。而老板用来分析每个职员的KPI。这些我们都可以用来PowerBI 来进行尝试。一般来说，这样的操作都非常简单，我们直接将文件通过导入的方式直接导入就可以了，我们来看下怎么做？如果是单一文件，做起来很简单
2017-12-15 20:54:46
27400
1
原创 用IOT的思维来管理我们的查看我们重要业务的服务器健康状态-实现IOT设备远端控制！
接下来我们来看下，我们如何从远程的IOT中心，从设备的消息中，推送到我们本地的消息处理，我们来看下脚本如何写的：如果接收到 shutdown -r 命令，直接注销当前用户并且重启：function poweroff {shutdown -r }$recCommand=“” while($true) { $recCommand=Receive-IoTCloudMessage -deviceclie
2017-12-15 18:39:55
671
原创 用IOT的思维来管理我们的查看我们重要业务的服务器健康状态-脚本功能性测试！
我们一共写完了三个脚本，为了执行效果方便，我们将手动执行这三个脚本：我们能够看到三个脚本都已经自行起来，我们这个时候需要查看下IOT HUB 接受的信息状态，我们的IOTforAD的状态如下，已经传递进来5000多条信息了：我们看下另外一个IOTHUB的接收器：接下去我们看看发送上去的信息和文件，需要下载DeviceExplorer.下载地址如下：https://github.com/Azure/
2017-12-15 18:08:14
479
原创 用IOT的思维来管理我们的查看我们重要业务的服务器健康状态-接受消息脚本编写！
我们刚才刚才写完了发送信息的部分，现在接下来我们来写接受消息的部分，接受消息相对来说也比较简单，我们针对从Azure IOT HUB 发送字符串到所有的设备设备需要进行解析，因此我们先写一段比较简单的信息进行命令的解析。$deviceClient = Get-IoTDeviceClient -iotHubUri iotForAD.azure-devices.net -deviceId MyFirs
2017-12-15 14:46:00
394
原创 用IOT的思维来管理我们的查看我们重要业务的服务器健康状态-Powershell脚本编写-发送脚本解析！
我们已经配置好云端IOT HUB，同时也配置好了Stream Analytics，也配置了PowerBI.接下来我们就将当前我们的AD的健康状态和AD服务器的健康状态分别写成两个脚本，脚本内容如下，大家可以参考下：ADhealth的脚本如下，我们主要统计我们AD用户状态、今天删除的用户数、今天增加的用户数、管理组成员数，脚本如下，我们分个进行语义解析：import-module ac* $devi
2017-12-15 14:11:31
533
原创 用IOT的思维来管理我们的查看我们重要业务的服务器健康状态-将IOT设备注册到设备中心！
目前是我们的DEMO环境，我们有两个不同的需求，一个需求是针对我们的当前的服务器的CPU\内存\硬盘做一定的监控。另外对于AD的系列状态实现实时状态的监控，比如我们当天建立了多少用户，删除了多少用户，管理员组里面有多少用户，等等状态的监控。由于两个数据需求的及时性不同，因此我们建立两个不同IOT HUB，来对接我们不同的数据输入格式。由于只有一台服务器，我们就将这台注册到两个IOT HUB中的中，
2017-12-14 22:15:08
814
原创 用IOT的思维来管理我们的查看我们重要业务的服务器健康状态-Powershell模块配置篇！
接下来我们需要为本地的服务器安装Powershell 扩展的脚本，我们首先访问我们的Powershell g
2017-12-14 20:28:12
606
原创 用IOT的思维来管理我们的查看我们重要业务的服务器健康状态-Azure配置篇！
接上文，上文提到我们需要云端和本地端的数据格式转换配置，我们这里直接在本地进行数据拼接，非常符合我们云端对于JSON数据的需求，而在通常的IOT的场景中，我们的本地也会存在我们的IOT Edge 设备，而通过Edge 的设备实现我们的数据定向传递到我们的IOT Azure。从数据传输方面来看，我们的所有设备直接对接我们的IOT HUB的入口，所有的消息传递到IOT HUB，我们来看看IOT HUB
2017-12-14 17:48:23
437
原创 用IOT的思维来管理我们的查看我们重要业务的服务器健康状态。-概述篇
如果有人文我们当前世界的最火的技术是啥呢？很多人想都不用想，就可以说出来：那就是我们的ABC，什么是A？什么是B？什么是C？ 这里我再加上一个B。所以目前的ABCB 可以说是当前我们的各类业务的集大成者。A就是AI，人工智能是最近今年突然冒出来的一个单词，而且随着社交类业务和自动化Robot 各类拟人机器人的出现而快速发展的一个概念。从目前的发展形势看，AI已经无处不在，我们的儿童陪伴机器人，工业
2017-12-14 15:04:05
702
原创 利用PowerBI进行IIS日志分析（Exchange 服务器）状况分析！
我们同时从客户那边拿到了IIS的日志，由于这台也是我们的Exchange 服务器，我们想分析下目前我们的整个IIS的访问状况，有没有出现类似的DDOS攻击之类的问题，好了，我们接下来教大家怎么做，这个确实必须非常了解我们的业务。接下来我们来一步一步开始进行分析了。1. 我们还是打开先打开PowerBI，选择我们的源为csv.大概文件为200M左右。2. 点击分隔符，以空格为分隔符：3. 数据导入之
2017-01-16 20:53:04
2712
原创 使用PowerBI分析我们的邮件收发日志！
看文章之前，我们先来喝碗鸡汤：有次看鲁豫有约的节目，专访高晓松，当时高晓松说了这么一段话：以前以为40不惑的意思是，到了40岁，你就什么都明白了，到了40岁之后，发现完全不是这个意思，40不惑的意思是你不明白的事情，你已经不想明白了，也不花时间去折腾了，但是在年轻的时候，你总想把这个事情弄明白，身边的人、事、包含这个时代，你都想弄明白，但是年纪大了的时候，你发现这个是不可能的，可能在你身边的人、哪
2017-01-16 16:48:07
4456
4
原创 复杂Powershell案例-获取批量建立账户的状态-PS代码的编写！
严格来说我们需要利用PS编写工具来编写整个脚本，我们没有安装其他的程序进行编写，我们就直接写PowerISE 来实现。我们点开Powershell ISE，界面也是标准的编辑的界面：我们直接在这个界面进行编辑，我们先弄清楚一下逻辑：1. 将我们需要建立账户做成一个文件，并导入2. 将新建用户变成一个过程，在这个过程中将数据做一个收集3. 将最终的结果变成一个HTML邮件，然后嵌入邮件当中发出去。接
2017-01-11 19:15:39
1745
原创 一种简单的测试您的防垃圾系统的方法！
很多人对邮件炸弹心有余悸，因为邮件炸弹造成的结果很可能就是你整个邮件服务器的崩溃，让你的邮箱接收到成千上万封各种各样的垃圾邮件，造成服务器可能出现崩溃，客户端出现硬盘被大量占用的情况，因此我们需要对我们的服务器做一个防垃圾方面的测试，测试方法很简单。现在的云主机非常多，我们找一台云主机，装一个Windows 2012的服务器，就可以开始测试了。当然我们还要安装一些组件和配置来达到我们的目的呢？我们
2017-01-11 11:11:35
1094
原创 复杂Powershell案例-获取批量建立账户的状态-建立本地SMTP服务器及设定SMTP！
当我们建立一个，几十个账户的时候，我们可能点点鼠标就可以完成，但是我们在进行大量用户创建的时候就会出现问题，我们可能不知道账户创建是否成功了。如果出现错误，出现了什么错误呢？这些对于我们的管理员来说都是非常重要的信息，一旦创建失败，我们总希望了解为什么失败？失败的故障是因为什么原因造成的，因此我们这个系列课程就带大家一起来分析如何实现这个场景。我们先来看看实现的效果，我执行了脚本之后，我们的收件箱
2017-01-10 15:21:22
1418
原创 在Windows Azure 安装Nginx虚拟机-篇章1-安装Nginx准备系列工作！
为了后续配置的方便，我们需要可以将默认的Root启用，因为Azure配置的用户默认的权限不是root,所以我们可以将Root设置密码后启用。需要安装如下的配置进行。1.我们使用Putty进行连接，以我们的默认建立的用户登陆：我们采用sudo -s 进入超级用户模式：接下来我们为root账户设置密码，使用sudo passwd root命令：4. 编译并安装包 yuminstall gcc gcc-
2016-12-31 22:23:19
1013
原创 正则表达式几个规则信息！
\w 匹配字符\W 匹配非字符类型的字符\d 匹配十进制数字\D 匹配非十进制数字的字符\s 匹配空格符\S 匹配非空格之外的其他字符. 匹配任意一个字符^ 字符串开始位置$ 字符串结束位置* 0次 1-到多次? 0次或者一次+ 匹配一次或者多次{n} 对象出现n次{n,}对象至少出现n次{n,m}对象至少出现n次，最多出现m次
2016-11-13 23:25:22
722
原创 传统IT 招聘测试题，看看你能答对多少！
1. 简单介绍下自己及公司？（看沟通及介绍能力）2. AD FSMO 五角色是神马。分别的功能是什么？（AD知识）知识3. AD站点自动生成链接会有什么影响？我们如何禁用站点链接的自动生成？（AD知识）4. AD 对象中的墓碑期是什么意思？超过墓碑期的对象恢复的结果是什么？（AD知识）5. 利用微软的备份软件恢复某个对象的具体步骤是什么？（AD知识）6. 我新建一个对象失败，可能的潜在原因是什么？
2016-10-07 10:07:49
1855
原创 Lync（Skype For Business）复制失败问题解决一例！
最近协助一用户在Windows Azure 部署 Lync server 2013, 发现一个问题，Lync 的拓扑架构始终提示复制状态是False. 到日志中看到错误比较多的问题是复制失败的状况。于是就进行了一定的巡查，发现默认创建的XDS-Replica 在D盘。。而微软的策略是所有的数据均不能放置在D盘，一旦数据在D盘，因此就会出现没有共享的情况。所以解决方法也就出来了，我们将我们的复制目录
2016-09-30 17:03:03
2846
原创 利用Office 365 建立类威客式任务系统-徐鹏-专题视频课程
这次我们主要讲一些关于Office 365 架设类威客式管理系统，协助您的企业管理任务分配模式，提高员工生产效率，间接提升KPI
2016-08-11 17:30:45
268
利用SharePoint 实现无代码HR 系统构建
2016-05-03
SharePoint 基本搭建
2016-04-16
计算基于exchange 2010 的发送及接收汇总
2013-08-23
Exchange 整合 Messaging tracking 功能
2013-08-23
Exchange查询统计邮件发送PS
2013-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人