如何用python做数据分析

最近，Analysis with Programming加入了Planet Python。我这里来分享一下如何通过Python来开始数据分析。具体内容如下：

数据导入

导入本地的或者web端的CSV文件；

数据变换；

数据统计描述；

假设检验

单样本t检验；

可视化；

创建自定义函数。

数据导入

1. 1

   这是很关键的一步，为了后续的分析我们首先需要导入数据。通常来说，数据是CSV格式，就算不是，至少也可以转换成CSV格式。在Python中，我们的操作如下：

   import pandas as pd

   # Reading data locally

   df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

   # Reading data from web

   data_url = "https://raw.githubusercontent.com/alstat/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

   df = pd.read_csv(data_url)

   为了读取本地CSV文件，我们需要pandas这个数据分析库中的相应模块。其中的read_csv函数能够读取本地和web数据。

   END

数据变换

1. 1

   既然在工作空间有了数据，接下来就是数据变换。统计学家和科学家们通常会在这一步移除分析中的非必要数据。我们先看看数据（下图）

   对R语言程序员来说，上述操作等价于通过print(head(df))来打印数据的前6行，以及通过print(tail(df))来打印数据的后6行。当然Python中，默认打印是5行，而R则是6行。因此R的代码head(df, n = 10)，在Python中就是df.head(n = 10)，打印数据尾部也是同样道理

   

2. 2

   在R语言中，数据列和行的名字通过colnames和rownames来分别进行提取。在Python中，我们则使用columns和index属性来提取，如下：

   # Extracting column names

   print df.columns

   # OUTPUT

   Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

   # Extracting row names or the index

   print df.index

   # OUTPUT

   Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')

3. 3

   数据转置使用T方法，

   # Transpose data

   print df.T

   # OUTPUT

               0      1     2      3     4      5     6      7     8      9   

   Abra      1243   4158  1787  17152  1266   5576   927  21540  1039   5424   

   Apayao    2934   9235  1922  14501  2385   7452  1099  17038  1382  10588   

   Benguet    148   4287  1955   3536  2530    771  2796   2463  2592   1064   

   Ifugao    3300   8063  1074  19607  3315  13134  5134  14226  6842  13828   

   Kalinga  10553  35257  4544  31687  8520  28252  3106  36238  4973  40140   

            ...       69     70     71     72     73     74     75     76     77  

   Abra     ...    12763   2470  59094   6209  13316   2505  60303   6311  13345   

   Apayao   ...    37625  19532  35126   6335  38613  20878  40065   6756  38902   

   Benguet  ...     235