Python机器学习入门——数据处理1

一、概览

在一个机器学习项目的进行中，数据集的收集和处理应该占据大部分时间。正确地打开并解决一个新的问题的首要条件就是知道如何处理数据，进而考虑根据数据特性构建相应的机器学习模型。本文所涉及到的数据处理相关方面和需要调用的python库如下：

0. Python 库

• pandas
• urllib2
• numpy
• pylab
• scipy
• matplotlib

1. 由CSV导入数据集

2. 数据集特性

1. 数据集的行列数
2. 标签和属性取值类型
3. 缺失值
4. 数据集统计特性
5. 异常值

3. 数据可视化

二、由CSV导入数据集

此处默认csv数据集使用逗号进行分隔
1 使用urllib2读取
存储结构为List

import urllib2
target_url = ("https://mp.csdn.net/mdeditor/84555072")#此处写入数据集地址
data = urllib2.urlopen(target_url)
xList = []
labels = []
for line in data:
    row = line.strip().decode().split(",")
    xList.append(row)

2 使用pandas读取
存储结构为数据框(DataFrame)，类似为可混和存储不同类型值的矩阵

import pandas as pd
from pandas import DataFrame
import matplotlib.pyplot as plot
target_url = ("https://mp.csdn.net/mdeditor/84555072")#此处写入数据集地址

Df = pd.read_csv(target_url,header=None, prefix="V")

#输出Df的头部数据和尾部数据
print(Df.head())
print(Df.tail())