数据分析指北 - 基础(基础数据操作之一)

最新推荐文章于 2024-02-25 23:23:36 发布

havef

最新推荐文章于 2024-02-25 23:23:36 发布

阅读量188

点赞数

本文链接：https://blog.csdn.net/havef/article/details/98864923

版权

640?wx_fmt=png

数据分析指北 - 基础(基础数据操作之一)

计算机是怎么处理表数据的，以及一些小学数学题？

历史回看：
数据分析指北 - 前言(01)
简单介绍了数据所有者的情况以及数据工程师都在做什么的事情。
数据分析指北 - 前言(03)
方法论之问题的解，科学方法，以及然后呢？
数据分析指北 - 基础(数据来源及轮廓)
有必要搞清楚数据的原始出处以及大致轮廓（分布）。

Photo by Mateusz Delegacz on Unsplash

微信公众号：数据分析指北

基础数据操作
示例数据
具体的小问题
- 计算机能够明白的方式？
- 小学数学题列表

基础数据操作

我们已经对数据的来源以及轮廓（分布）有了一个基础的了解。下一步就要将这些数据清洗，整理干净。也就是数据分析指北 - 前言(01)中提到的ETL或是data pipeline的过程。

这里先展示一个非常简单的示例数据（简单到你可以口算得到结果）。希望能够通过这个简单的示例和一些小学数学题，激发你对数据操作的一些思考。

示例数据

以下是制作的示例数据：

640?wx_fmt=png

示例数据

这个数据是我编的，名字里面带“一”的，都是1班的，名字里面带“二”的，都是2班的，另外1班和2班“同”时都有一个特别的“孙同”同学，不过他们重名，不是同一个人。

由于记录前没有统一约定，两个班的日期格式不同，钱一同学的出生年月还被班长错写成了00月，李二同学的身高也被漏记了。

具体的小问题

数据如上所述，很简单。而一会要提出的有些问题，可能你一个个去数，就会得到答案，但这不符合我的要求。

我的要求是 – 要以计算机能够明白的方式来清晰表述解决问题的具体步骤，这样，当数据扩展到几千，几万，几十万，几百万的时候，使用同样的方式就可以了。（当数据巨大时可能会有一些其他问题，我们暂时忽略。）

计算机能够明白的方式？

计算机能够明白的方式？那是什么方式呢？计算机其实很傻，对表格只有几种基础操作，比如，它可以一行行的处理数据，处理第一行，处理第一行的第一列，处理第一行的第二列，… , 等到第一行处理完之后，开始接着处理第二行…直到处理完最后一行的最后一列。这种一行行处理的，叫做row-based。

同样也应该可以想到，还有对应另外一种处理方式 – 就是它可以一列列处理数据，先处理第一列，处理第一列的第一行，第一列的第二行，… ,等到第一列处理完成之后，就开始处理第二列，这种一列列处理的，叫做column-based。

这两种方式，在处理不同类型的问题时有着不一样的优势。比如，我想统计每班有多少人，在上面两种处理数据的方式中，显然column-based的方式能更快的得到结果。通过设置两个变量来记录次数，第一列第一行是1，那么第一个变量由0加1得1；第一列第二行是1，那么第一个变量由1再加1得2，依次类推，它只需要在第一列数据处理完之后，就可以得到结果，而这个问题，如果用row-based的处理方式，只有处理到最后一行的第一列，才能得到结果。

前面说的利用两个变量统计次数的计算过程比较简单，不管用row-based还是用column-based，要得到结果都还算轻松，但有的计算过程对于row-based和column-based就不是同样容易编写了，有可能某个计算过程在column-based的情况下，只需要寥寥几行就能得出计算结果，而row-based的情况则要写的复杂得多，而且容易出错。

在这种情况下，我们如果仍然想利用基于column的计算过程来计算某一行的数据，那么我们能做的就是采用一种曲线救国的方法，先把整个表翻转（转置）一下，将中间结果计算完成之后，再转置回去得到最终答案。当然，你也可以去研究一种怎么针对row的计算过程，然而，在已经有了基于column的计算过程的情况下，再去研究row怎么去算，这件事大概率是不值得做的。

640?wx_fmt=png