机器学习相关数据处理

数据类型转换

常见数据类型

1.ndarry
数据处理过程，读取的pandas的dataframe等，例子里都是转换成ndarry，
方法是
ndarray = nd.as_matrix()
不过注意：.as_matrix()是这样Convert the frame to its Numpy-array representation.针对dataframe类型转换成nparray，但很多时候提取之后就已经是了，就不用。
或者ndarray = np.asmatrix(list)

补充说明：读取Excel数据训练模型时，需要将表格转换成数组，as_matrix()可将dataframe数据转换成数组，

import pandas as pd
import numpy as np
df=pd.DataFrame(np.arange(12).reshape(3,4))

运行结果df是3行4列的DataFrame，DataFrame是一种表格型数据结构，有行索引，也有列索引
用as_matrix()将Dataframe的表格型数据转换成数组
df.as_matrix()
结果为3行4列的矩阵

上述方法已淘汰，可以使用新的

df.values
得到对象就是dataframe中的数据,形式为数组array
2.list切片
不同维度分开切
单独切一个数据，直接用数据，不用括号
newls = ls [:, 3]这里就是第一个维度所有数据，第二个维度只要第三个，相当于所有数据的第三列
3.关于随机乱序
np.random.permutation()进行乱序
例：

sampler = np.random.permutation(len(data))
d = data.take(sampler).as_matrix()

这里就是按索引获取数据，take（）是pandas里面的方法；乱序对象是数据索引；as_matrix（）方法是将读取的数据转换成numpy