Python数据分析入门教程(一)：获取数据源

作者 | CDA数据分析师

俗话说，巧妇难为无米之炊。不管你厨艺有多好，如果没有食材，也做不出香甜可口的饭菜来，所以想要做出饭菜来，首先要做的就是要买米买菜。而数据分析就好比是做饭，首先也应该是准备食材，也就是获取数据源。

一、导入外部数据

导入数据主要用到的是Pandas里的read_x()方法，x表示待导入文件的格式。

1、导入.xlsx文件

在Excel中导入.xlsx格式的文件时很简单的，双击打开就可以了。在Python中导入.xlsx文件的是read_excel()这种方法。

（1）基本导入

在导入文件的时候首先要指定文件的路径，也就是这个文件在电脑中的哪个文件夹下存放着。

电脑中的文件路径默认是使用\的，这个时候需要在路径前面加一个r（转义符）避免路径里面的\被转义。也可以不加转义符r，但是需要把路径里面所有的\转换成/，这个规则在导入其他格式文件的时候也是一样的，我们一般会选择在路径前面加转义符r。

（2）指定导入哪个Sheet

.xlsx格式的文件可以有很多个Sheet，你可以通过设定sheet_name参数来指定要导入哪个Sheet的文件。

除了可以指定具体Sheet的名字，还可以传入Sheet的顺序，从0开始计数。

如果不指定sheet_name参数的时候，那么默认导入的都是第一个sheet的文件。

（3）指定行索引

将本地文件导入DataFrame的时候，行索引使用的是从0 开始的默认索引，可以通过设置index_col参数来设置。

index_col表示用.xlsx文件中的第几列做行索引，从0 开始计数。

（4）指定列索引

将本地文件导入DataFrame的时候，默认使用的是源数据表的第一行作为列索引，也可以通过设置header参数来设置列索引。header参数值默认为0，即用第一行作为列索引；也可以是其他行，只需要传入具体的那一行即可；也可以使用默认从0开始的数作为列索引。

（5）指定导入列

有的时候本地文件的列数太多，而我们又不需要那么多列的时候，我们就可以通过设定usecols参数来指定要导入的列。

可以给usecols 参数具体的某个值，表示要导入第几列，同样是从0开始计数，也可以以列表的形式传入多个值，表示要传入哪些列。

2、导入.csv文件

在Excel中导入.csv格式的文件和打开.xlsx格式的问价是一样的，双击即可。而在Python中导入.csv问价用的方法是read_csv()。

（1）直接导入

只需要指明文件路径即可。

（2）指明分隔符号

在Excel和DataFrame中的数据都是很规整的排列的，这都是工具在后台根据某条规则进行切分的。read_csv()默认文件中的数据都是以逗号分开的，但是有的文件不是用逗号分开的，这个时候就需要人为指定分隔符号，否则就会报错。

新建一个以空格作为分隔符号的文件，如下图所示：

如果用默认的逗号作为分隔符号，看看导入的数是什么样的。

我们看到所有的数据还是一个整体，并没有被分开，把分隔符号换成空格以后再看看效果：

使用正确的分隔符号以后，数据被规整的分好了。常见的分隔符号除了逗号、空格，还有制表符（\t）。

（3）指明读取行数

假设现在有一个几百兆的文件，你想了解一下这个文件里有哪些数据，那么这个时候你就没必要把全部数据都导入，你只要看到前面几行即可，因此只要设置nrows参数即可。

（4）指定编码格式

Python用得比较多的两种编码格式是UTF-8和gbk，默认编码格式是UTF-8。我们要根据导入文件本身的编码格式进行设置，通过设置参数encoding来设置导入的编码格式。有的时候两个文件看起来一样，它们的文件名一样，格式一样，但是如果它们的编码格式不一样，也是不一样的文件，比如当你把一个Excel文件另存为时会出现两个选项，虽然都是.csv文件，但是这两种格式代表两种不同的文件，如下图所示:

如果CSV UTF-8（逗号分隔）（*.csv）格式的文件，那么导入的时候就需要加encoding参数。

你也可以不加encoding参数，因为Python默认的编码格式就是UTF-8。

如果CSV（逗号分隔）（*.csv）格式的文件，那么在导入的时候就需要把编码格式更改为gbk，如果使用UTF-8就会报错。

（5）engine指定

当文件路径或者文件名中包含中文时，如果还用上面的导入方式就会报错。

这个时候我们就可以通过设置engine参数来消除这个错误。这个错误产生的原因是当调用read_csv()方法时，默认使用C语言作为解析语言，我们只需要把默认值C更改为Python就可以了，如果文件格式是CSV UTF-8（逗号分隔）（.csv），那么编码格式也需要跟着变为utf-8-sig，如果文件格式是CSV（逗号分隔）（.csv）格式，对应的编码格式则为gbk。

（6）其他

.csv文件也涉及行、列索引设置及指定导入某列或者某几行，设定方法与导入.xlsx文件一致。

3、导入.txt文件

（1）Excel实现

在Excel中导入.txt文件时，我们需要通过依次单击菜单栏中的数据>获取外部数据>自文本，然后选择要导入的.txt文件所在的路径，如下图所示：

选完路径以后会出现如下图所示的界面，预览文件就是我们要导入的文件，确认无误后按下一步按钮即可。

因为我们举例.txt 文件用空格分开的，所以在分隔符号项勾选空格复选框，如果待导入的.txt 文件是用其他分隔符号分隔的，那么选择对应的分隔符号，然后直接按完成按钮即可，如下图所示：

（2）Python实现

在Python中导入.txt文件用的方法是read_table()是将利用分隔符号分开的文件导入DataFrame的通用函数。它不仅可以导入.txt文件，还可以导入.csv文件。

从上面的代码可以看出，函数在导入.csv文件时，与read_csv()函数不同的是，即使是逗号分隔开的问价也是需要用sep指明分隔符号的，而不是像read_csv()函数那样，如果文件是逗号分隔的，则可以不用写。

read_table()函数其他参数的用法与read_csv()函数的基本一致。

4、导入sql文件

（1）Excel实现

Excel可以直接连接数据库，通过依次单击菜单栏中的数据>自其他来源导入sql文件。如果你的数据库是SQL Server，那么直接选择来自SQL Server即可；如果是MySQL数据库，那么你需要选择来自数据连接向导，然后通过建立数据向导来与MySQL连接，如下图所示：

（2）Python实现

Python导入SQL文件主要分为两步，第一步将Python与数据库进行连接，第二步是利用Python执行SQL查询语句。

将python与数据库连接时利用的是python模块，这个模块Anaconda没有，需要我们手动安装的，打开Anaconda Promt，然后输入pip install pymysql进行安装即可，安装完成以后直接用import导入就可以使用了，具体连接方法如下：

连接好数据库以后，我们就可以执行SQL查询语句了，利用的是read_sql()方法。

除了sql和con这两个关键参数，read_table()函数也有用来设置行索引的参数index_col，设置列索引的columns，实例如下：

二、新建数据

这里的新建数据主要指新建DataFrame数据，我们在之前谈到过，利用pd.Dataframe()方法进行新建。

三、熟悉数据

当我们有了数据源以后，先别急着分析，应该先熟悉数据，只有对数据充分熟悉了，才能更好的进行分析。

1、利用head预览前几行

当数据表中包含数据行数过多时，而我们又想看一下每一列数据都是什么样的数据时，就可以只把数据表中前几行数据显示出来进行查看。

（1）Excel实现

Excel其实没有严格意义的显示前几行，当你打开一个数据表时，所有的数据就全部都展示出来了，如果数据的行数过多，则可以通过滚动条来控制。

（2）Python实现

在Python中，当一个文件导入后，可以用head()方法来控制要显示哪些行。只需要在head后面的括号中输入要展示的行数即可，默认展示前5行。

2、利用shape获取数据表的大小

熟悉数据的第一点就是先看一下数据表的大小，即数据表有多少行、多少列。

（1）Excel实现

在Excel中查看数据表有多少行，一般都是选中某一列，右下角就会出现该表的行数，如下图所示：

在Excel中选中某一行，右下角就会出现该表的列数，如下图所示：

（2）Python实现

在Python中获取数据表的行、列数利用的是shape方法。

Shape方法会以元组的形式返回行、列数，上面代码中的（4,4）表示df表有4行4列数据。这里需要注意的是，Python中利用shape方法获取行数和列数时不会把行索引和列索引计算在内，而Excel中是把行索引和列索引计算在内的。

3、利用info获取数据类型

熟悉数据的第二点就是看一下数据类型，不同的数据类型的分析思路是不一样的，比如数值类型的数据可以求均值，但是字符串类型的数据就没法求均值了。

（1）Excel实现

在Excel中若想看某一列数据具体是什么类型的，只要把这一列选中，然后再菜单栏中的数字那一栏就可以看到这一列的数据类型。

年龄为数值类型，如下图所示：

性别为文本类型，如下图所示：

（2）Python实现

在Python中我们可以利用info（）方法查看数据表中的数据类型，而且不需要一列一列查看，在调用info（）方法以后就会输出整个表中所有列的数据类型。

通过info（）方法可以看出表df的行索引index是0到3，总共4columns，分别是编号、年龄、性别以及注册时间，且4columns中只有年龄是int类型，其他columns都是object类型，共占用内存208bytes。

4、利用describe获取数值分布情况

熟悉数据的第三点就是掌握数值的分布情况，即均值是多少，最值是多少，方差及分位数分别又是多少。

（1）Excel实现

在Excel中如果想看某列的数值分布情况，那么手动选中这一列，在Excel的右下角就会显示出这一列的平均值、计数及求和，且只显示这三个指标，如下图所示。

（2）Python实现

在Python中只需要利用describe（）方法就可以获取所有数值类型字段的分布值。

表df中只有年龄这一列是数值类型，所以调用describe（）方法时，只计算了年龄这一列的相关数值分布情况。我们可以新建一个含有多列数值类型字段的DataFrame。

上面的表df中年龄、收入、家属数都是数值类型，所以在调用describe（）方法的时候，会同时计算这三列的数值分布情况。

这是我们近期推出的**“Python数据分析入门教程”**系列的第一篇文章，后续会不断更新，请持续关注我们吧！