2021第十届小美赛
百万条数据处理
在数学建模竞赛中面对复杂多样的百万条数据,我们该如何处理数据、分析数据呢?
一般题中所给数据均是xlsx文件或是csv或是txt文件、极少出现docx格式word文件,这种数据一般包含数值类型数据、字符串类型数据、还有布尔类型数据,其中,数值类型数据又包含浮点型和整数型,像金额、距离、体积、面积、浓度、温度等等;字符串类型数据又包含日期、地址、名字等等,这其中含有部分为分类数据,比如说性别、尺寸类型等;布尔类型数据又包含非黑即白的数据,比如:是否健康、是否投票、是否交易等等。
可以说是凡用涉及数据分析类型的题,也就是说偏概率论与统计这一类型的题都用到了遍历循环查找这一算法,现在学生采用的方法层出不穷,有的用python,有的用C,有的用matlab,其实我们都忘记了初衷,我们的初衷是什么?
是用最快的方法解决基础问题,节省不必要的时间。
那么面对百万条数据处理,哪种方法最快呢?当时是在不利用第三方软件的基础上对原数据进行处理。excel的功能十分强大,已不再是当时的excel了,从数据可视化绘图到数据处理,有些功能我觉得太便捷了,比如遍历查找这一功能。
已知该数据为题中所给数据,如下图所示:
以下为所求区域面积,如下图所示:
这个时候就是用excel中的v看函数了,你想输出什么结果就输出什么结果,使用该函数,首先是字段关联,使所求关联字段数据为该函数第一个参数,查找范围为第二个参数,范围依照结果的范围而选择,结果参数为(列数)为第三个参数,0为第四个参数精准查找,最后拖拽即可返回全部结果。如下图所示: