大家好!好久不见!适逢国庆,先祝我亲爱的祖国七十周年生日快乐!
这一系列文章是针对最近在实习中做的一些数据预处理操作的整理。我们希望通过它们,带领大家了解和熟悉一些python做数据清洗,数据整合等的常见操作。
请注意我们这是专题文章,也就是说这一系列文章并不假设你对python是零基础的。但是如果你和我一样,也是一个数据科学中探索的小白,那么我希望你也能够通过这些文章,在一个一个的数据处理的坑中爬起来,总结经验,奋勇前行~
写这一系列文章之前我也咨询了老板的意见,也得到了他的同意。说这句话的意思是:所有这里涉及的操作,在数据分析中都是基础,重要和容易踩坑的。所以即使你现在觉得它们难以理解,或者用不上,以后也大概率会碰到。还需要和大家说的是,为了防止泄露商业机密和业务材料,我们的数据集事先做过处理。
那么我们开始吧。没有特殊介绍,我们都是使用Python3的。
1. 准备操作,装包,导入
虽然这非常简单,但我们还是提一下。凡是做数据预处理,都不可避免的用上这两个包。
import
如果你要做基本的可视化,那还需要这个包
import
这句语法的意思就是:导入...包,并给它命名为np/pd。很多人经常在代码中看到诸如np., pd. 这样的前缀,意思就是调用numpy/pandas内的函数(还有一个说法叫方法)。
网络上有非常多关于这两个包的命令详解,百度一下都有。至于如何安装,各位只需要百度一下anaconda即可。anaconda本身就可以理解为是一个封装好的python环境,里面已经事先有安装好大部分必备的库。
当然,你也可以使用
pip
有一个情况是你电脑里的默认python不是anaconda内的那个(当你电脑里装了不止一个py的时候,这种情况是完全有可能的)。除了环境变量的优先级调整法(具体的可以百度),还有一种方法我觉得更方便,就是打开anaconda的prompt。
这个Prompt可以理解为anaconda内自己的cmd (command line)。那么这个时候,下面这一行代码
就可以自动把你想要安装的包安装到你的anaconda中。对于我这种py底层机理一窍不通的人来说,这已经够用了,也很方便。虽然大部分情况都可以通过anaconda的可视化界面完成,但是我就碰到了tensorflow装不上的情况,这个时候就只能采用上面那种方法了。
2. 读取数据,创建数据框
配置有了,下一步自然是读取数据,创建dataframe了。dataframe是pandas特有的一种数据结构,通俗理解就是一种计算机中存储数据的结构,好吧这好像是一句废话……
我截取了一部分我司的数据集(很显然不可能是真实的,我在上面说过了),我们希望用它作为我们的例子,那么很显然就需要构造一个dataframe来存储它。常见的操作就是先构造一个字典,再转换。具体如下
Table
如果你运行正常的话,最后应该可以看到这样的结果。
(这是在Jupyter Notebook上运行的,如果你在别的IDE上运行,显示的样子可能会有些不一样)相信通过这个例子你也大概明白了什么是一个dataframe。
注意:代码pd.Da