用python玩转数据测试与作业_学习《用Python玩转数据》课程总结

最近学习了慕课网上的《用Python玩转数据》，写个总结，顺便再梳理一下。

总的来说，这个课程是比较好的入门引导，讲的比较浅显，但是都点到了，对于一个小白来说，算是打开了一扇大门，至于更深一步的内容就要靠自己了。

玩转数据分两步：

1、数据的获取，包括本地数据和网络数据；

2、数据整理、描述、分析

一、数据的获取

1.1 本地数据获取

常用函数：open，read，write，readline，readlines，writelines，close，seek

可以对txt，csv，excel文件进行读写操作，每个函数又有很多个参数，可以根据不同需求选择

1.2 网络数据的获取

uillib.request

Requests第三方库

Scrapy框架

课程中介绍的是requests库，使用非常简便

importrequests

r= requests.get(url)

这样就可以抓取网页的信息，存储到变量r中，以进行下一步的分析。

网页的解析常用的是：

BeautifulSoup库

re模块

对于科学工程领域更高级的要求，Python提供了开源的Scipy扩展库，包括下面几个核心包，功能强大。

强大的ndarray对象和ufunc函数

比较适合线性代数和随机数处理等科学计算

有效的通用多位数据，可定义任意数据类型

无缝对接数据库

2.2 SciPy库

Python中科学计算程序的核心包

有效计算numpy矩阵，让Numpy和Scipy协同工作

致力于科学计算中常见问题的各个工具箱，其不同子模块有不同的应用，如插值、积分、优化和图像处理等。

基于Numpy

二维绘图库，简单快速生成曲线图，直方图和散点图等形式的图

常用的pyplot是一个简单提供类似matlab接口的模块

基于Scipy和Numpy

高效的Series和Dataframe结构数据库

强大的可扩展数据操作与分析的Python库

高效梳理大数据集的切片等功能

提供优化库功能读写多种文件格式，如csv，HDF5等

三、Python中常用的数据结构

Python常用的数据结构有字典(dic)、元组(tuple)、列表(list)、集合(set)，详见另一篇文章：http://www.cnblogs.com/sharon123/p/7090001.html

Scipy中的数据结构是Python原有数据结构变化，有N维数组(ndarray)、变长字典(Series)、数据框(Dataframe)

3.1 ndarray

ndarray是Numpy的基本数据机构，所有元素是同一种类型，拥有丰富的函数。

ndarray的创建示例：

>>> import numpy as np

>>> a = np.array([1,2,3])

>>> a

array([1, 2, 3])

>>> np.arange(1,5,0.5)

array([ 1. , 1.5, 2. , 2.5, 3. , 3.5, 4. , 4.5])

>>> np.random.random((2,2))

array([[ 0.67516447, 0.21711136],

[ 0.96711409, 0.24275549]])

>>> np.linspace(1,2,10,endpoint=False)

array([ 1. , 1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9])

>>> np.ones([2,3])

array([[ 1., 1., 1.],

[ 1., 1., 1.]])

>>> np.zeros((2,2))

array([[ 0., 0.],

[ 0., 0.]])

除此之外，还可以用：

ndarray的基本数组统计方法：

线性代数常用函数：

ndarray的ufunc函数是一种能对数组的每个元素进行操作的函数，Numpy内置的许多ufunc函数都是在C语言级别实现的，计算速度非常快。

3.2 Series

类似一维数组，有数据和索引构成，索引能够自己定义

>>> from pandas importSeries>>> importpandas as pd>>> a = pd.Series([1,2.0,'a'])>>>a

01

1 2

2a

dtype: object>>> b = pd.Series(['apple','peach','lemon'],index=[1,2,3])>>>b1apple2peach3lemon

dtype: object>>>b.index

Int64Index([1, 2, 3], dtype='int64')>>>b.values

array(['apple', 'peach', 'lemon'], dtype=object)>>> c = pd.Series([3,5,7],index=['a','b','c'])>>> c['b']5

>>> c*2a6b10c14dtype: int64

3.3 Dataframe

Datafame是一个表格型的数据结构，含有一组有序的列，可以看成共享同一个index的Series集合

'''创建DataFrame'''

>>> importpandas as pd>>> from pandas importDataFrame>>> data = {'name': ['Wangdachui', 'Linling', 'Niuyun'], 'pay': [4000, 5000, 6000]}>>> frame=pd.DataFrame(data)>>>frame

name pay

0 Wangdachui4000

1 Linling 5000

2 Niuyun 6000

>>> data=np.array([('Wangdachui', 4000), ('Linling', 5000), ('Niuyun', 6000)])>>> frame =pd.DataFrame(data, index = range(1, 4), columns = ['name', 'pay'])>>>frame

name pay1 Wangdachui 4000

2 Linling 5000

3 Niuyun 6000

'''DataFrame 列获取'''

>>> frame['name']1Wangdachui2Linling3Niuyun

Name: name, dtype: object>>> frame['pay']1 4000

2 5000

3 6000Name: pay, dtype: object'''DataFrame 列切片'''

>>> frame.iloc[:2,1]1 4000

2 5000Name: pay, dtype: object'''DataFrame 对象修改'''

>>> frame['name']='admin'

>>>frame

name pay1 admin 4000

2 admin 5000

3 admin 6000

'''DataFrame 对象删除'''

>>> del frame['pay']>>>frame

name1admin2admin3 admin

scikit-learn

Simple and efficient tools for data mining and data analysis

Accessible to everybody, and reusable in various contexts

Built on NumPy, SciPy, and matplotlib

Open source, commercially usable - BSD license