2020年12月_rqgxy

转载 Python 分组处理

在日常数据分析时，经常会遇到需要按列分组 (groupby) 的任务，如计算某公司各部门的人数，计算各部门男女平均工资，计算不同年代的员工的平均工资等等。在进行这类运算时，Pandas 提供了 groupby 函数，大多数问题它都可以解决，但有一些问题使用 groupby 函数会略显麻烦，下面我们就这些问题展开细致的讨论。groupby 是 pandas 中非常重要的一个函数, 主要用于数据分类和聚合计算. 其思想是“split-apply-combine”（拆分 - 应用 - 合并），如下图：

2020-12-03 14:48:00 8982

转载可用于解析 Excel 文件的程序语言

Excel文件是常见的数据文件，数据分析过程中经常会用到。有时我们需要用程序代码对 Excel 文件进行一些自动化处理，这需要程序语言能够方便地解析 Excel 数据。可以用于解析和处理 Excel 文件的程序语言一般有以下几种：1、常规高级编程语言，比如 Java2、 Excel VBA3、 Python4、 esProc SPL本文依次介绍以上几种程序语言解析Excel文件的特点，重点放在如何将Excel文件读出为结构化数据，之后是用来再计算或是入库或是其它用途，就只作简单介绍。...

2020-12-03 14:39:29 2243

转载桌面轻量级数据处理脚本

几乎所有的程序语言都能处理数据，但有些过于通用，缺乏专业的结构化计算函数，用于数据处理时代码比较繁琐，比如C++、JAVA，这些语言更适合去实现大型专业的项目。还有专业的数学计算语言工具，如MATLAB和R，也有部分函数适合处理数据，但还是专业性过强，不适合日常数据处理。我们在这里挑选了四种适合桌面业务的轻量级数据处理语言来介绍和讨论：以MySQL为代表的轻量小型数据库、Excel VBA、Python pandas、esProc。下面，就让我们深入了解这些程序语言，看看它们的真实能力到底如何。My

2020-12-03 12:01:22 375

转载 Python 如何处理大文件

Python作为一门程序设计语言，在易读、易维护方面有独特优势，越来越多的人使用 Python 进行数据分析和处理，而 Pandas 正是为了解决数据分析任务而创建的，其包含大量能便捷处理数据的函数和方法，使得数据处理变得容易，它也是使 Python 成为强大而高效的数据分析环境的重要因素之一。但是 Pandas 是个内存的类库，用于处理小数据（能放入内存）没问题，对于大数据（内存放不下）就没有那么方便了。而我们平时工作中却能经常碰到这种较大的文件（从数据库或网站下载出来的数据），Pandas 无能为力

2020-12-03 10:54:05 983

转载查询计算大文件的桌面程序工具

什么是大文件？大文件是指大到计算机内存不足以一次性读入的文件。这种情况，直接使用桌面数据工具（比如 Excel）都无能为力了，常常需要编写程序来处理。而即使是写程序，也必须是分批读入进行计算处理，最后再按照不同的计算类型对分批处理结果进行恰当的汇总处理，比小文件数据的处理要很杂很多。大文件的种类也有多种，例如文本文件、Excel文件、XML文件、JSON文件、HTTP文件……等等，其中以文本 (txt 或 csv) 最为常见。可以用于处理大文件的程序语言一般有以下几种：1、常规高级编程语言，比如 J

2020-12-03 10:39:15 209

转载 SQL on file 工具

无论程序员，还是数据分析师或科研工作者，有很多人都会编写SQL。无论单机上的access，还是局域网中的mysql 或云环境中的Hadoop，也有很多平台都支持SQL。经过半个多世纪的演化，SQL已是应用广、成熟度高、使用方便的数据查询语言。但有时候数据在CSV/TSV/XLS之类的文件里，为了能继续使用熟悉的SQL，我们不得不先把文件导入数据库。这个过程很麻烦，要建立表结构、设定字段名和数据类型、分配权限，再等待加载。如果涉及多个文件导入，这个过程就会变成更为耗时耗力的重复劳动。文件越多体积越大，还要

2020-12-03 10:30:59 167

转载其实你就学不会 Python

一句“人生苦短，我用 Python”，让多少职场人为之疯狂，培训机构甚至豪言小到黄口小儿，大到七旬老汉都学得会 Python。如果你在职场中经常跟数据打交道，曾经可能 Excel 是最常用的工具，但现在如果你不会 Python，出去似乎都不好意思跟人家打招呼（说自己在玩数据）。Python 真的很神吗？神。Python 的使用范围很广，从文本分析到 WEB 编程，再到图形处理和机器学习，是编程语言中不可多得的多面手，加之相对其他编程语言 Python 上手更简单，甚至让很多人喊出全民 Pytho

2020-12-03 10:14:44 103

转载合并资产负债表

在企业财务工作中，每个财务周期都要制作资产负债表，周期分为月度、季度、年度。季度报表可由月度报表合并得来，年度报表可由季度报表合并而来。有些大企业有许多部门，各部门也有资产负债表，总公司的资产负债表可由各部门的合并得来。如果由人工来进行这种合并工作，不仅烦琐，还易出错。如果使用程序自动完成这种工作就会既高效又正确。本文将介绍 esProc SPL 编写的资产负债表合并代码示例。esProc 是专业的数据计算引擎，SPL 中提供了完善的 Excel 文件读写函数，做资产负债表合并非常容易。资产负债表通常如

2020-12-03 10:07:54 447

转载 esProc 利用剪贴板强化 Excel 计算

遇到Excel难以实现的复杂或特殊运算时，可先用剪贴板将数据复制到esProc，利用esProc强大的计算能力完成，再用剪贴板返回Excel。剪贴板方式比传统的add-ins方式部署更简单，操作更顺滑，开发时不影响剪贴板正常使用，且支持多个源片区和结果片区。基本用法esProc提供了函数clipboard，可实现剪贴板的基本用法。下面用“各科前3名的学生”为例进行说明。Excel中处理前的数据如下，其中A列是学生姓名，B-D列分别是数学、英语、物理成绩。 A B C .

2020-12-03 10:03:08 817

rqgxy的博客