动手学深度学习day1_数据的操作与处理

一.数据的操作

1.深度学习中常用N维数组来存储数据，也就是N维矩阵

例如：一张RGB图片需要用一个3-d数组存储，批量的RGB图片需要4-d，而批量的视频需要5-d（加了时间元素）存储。

2.访问矩阵元素的方法：1个元素：[1, 2] 1行：[1, :] 一列：[: , 1] 子区域：[1:3 , 1:] [::3 , ::2]

 

2.pytorch创建张量

import torch


x = torch.arange(12)
x

  tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11])

3.获取张量形状

x.shape

  torch.Size([12])

4.获取元素总数

x.numel()

  12

5.reshape 改变张量形状  不改变元素数量与元素值

X = x.reshape(3,4)   
X

  tensor([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]])

6.可以通过python列表对所需张量中的每个元素赋予确定值

torch.tensor([[2,1,4,3],[1,2,3,4],[4,3,2,1]]).shape

  torch.Size([3, 4])

7.张量可做加减乘除运算   **是求幂运算符

x = torch.tensor([1.0,2,4,8])
y = torch.tensor([2,2,2,2])
x + y , x - y , x * y , x / y , x ** y

  (tensor([ 3., 4., 6., 10.]), tensor([-1., 0., 2., 6.]), tensor([ 2., 4., 8., 16.]), tensor([0.5000, 1.0000,      2.0000, 4.0000]), tensor([ 1., 4., 16., 64.]))

8.把多个张量连接在一起

X = torch.arange(12, dtype = torch.float32).reshape((3,4))
Y = torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])
torch.cat((X,Y) , dim = 0) , torch.cat((X,Y),dim = 1)

   (tensor([[ 0., 1., 2., 3.], [ 4., 5., 6., 7.], [ 8., 9., 10., 11.], [ 2., 1., 4., 3.], [ 1., 2., 3., 4.], [ 4., 3., 2.,    1.]]), tensor([[ 0., 1., 2., 3., 2., 1., 4., 3.], [ 4., 5., 6., 7., 1., 2., 3., 4.], [ 8., 9., 10., 11., 4., 3., 2., 1.]]))

9.逻辑运算符也可以作为张量元素

10.对张量中的所有的元素进行求和会产生一个只有一个元素的张量

X.sum()

  tensor(66.)

11.即使形状不同，我们仍然可以通过调用广播机制（broadcasting mechanism）来执行按元素操作

a = torch.arange(3).reshape((3,1))
b = torch.arange(2).reshape((1,2))
a , b , a+b

  (tensor([[0], [1], [2]]), tensor([[0, 1]]), tensor([[0, 1], [1, 2], [2, 3]]))

12.可以用[-1]访问最后一个元素，可以用[1:3]选择第二个和第三个元素

X[-1] , X[1:3]

  (tensor([ 8., 9., 10., 11.]), tensor([[ 4., 5., 6., 7.], [ 8., 9., 10., 11.]]))

13.除读取外，我们还可以通过指定索引来讲元素写入矩阵

X[1,2] = 9
X

  tensor([[ 0., 1., 2., 3.], [ 4., 5., 9., 7.], [ 8., 9., 10., 11.]])

14.为多个元素赋值相同 ， 我们只需要索引所有元素，然后同时赋值

X[0:2, :] = 12
X

  tensor([[12., 12., 12., 12.], [12., 12., 12., 12.], [ 8., 9., 10., 11.]])

15.运行一些操作可能会导致为新结果分配内存

before = id(Y)
Y = Y + X
id(Y) == before

  False

16.执行原地操作

Z = torch.zeros_like(Y)
print('id(Z):', id(Z))
Z[:] = X + Y
print('id(Z):', id(Z))

  id(Z): 2693074224704 id(Z): 2693074224704

17.转换为Numpy张量

A = X.numpy()
B = torch.tensor(A)
type(A),type(B)

  (numpy.ndarray, torch.Tensor)

18.将大小为1的张量转换为python标量

a = torch.tensor([3.5])
a, a.item() , float(a) , int(a)

  (tensor([3.5000]), 3.5, 3.5, 3)

二.简单的数据处理

1.数据预处理，创建一个人工数据集，并存储在csv（逗号分隔值）文件

import os

os.makedirs(os.path.join('..','data'), exist_ok=True)
data_file = os.path.join('..', 'data','house_tiny.csv')
with open(data_file,'w') as f:
    f.write('NumRooms,Alley,Price\n') #列名
    f.write('NA,Pave,127500\n')#每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

2.从创建的csv文件中加载原始数据集

import pandas as pd
data = pd.read_csv(data_file)
print(data)

  NumRooms Alley Price 0 NaN Pave 127500 1 2.0 NaN 106000 2 4.0 NaN 178100 3 NaN NaN      140000

3.为了处理确实的数据，典型的方法包括插值和删除，这里考虑插值。这里确实的numrooms值被插值为均值。

inputs, outputs = data.iloc[:, 0:2],data.iloc[:,2]
inputs = inputs.fillna(inputs.mean())
print(inputs)

   NumRooms Alley 0 3.0 Pave 1 2.0 NaN 2 4.0 NaN 3 3.0 NaN

4.对于inputs中的类别值或离散值，可以将“NaN”视为一个类别

inputs = pd.get_dummies(inputs, dummy_na = True)
print(inputs)

   NumRooms Alley_Pave Alley_nan 0 3.0 1 0 1 2.0 0 1 2 4.0 0 1 3 3.0 0 1 

5.现在inputs和outpus中的所有的条目都是数值类型它们可以转换为张量格式

import torch
x, y = torch.tensor(inputs.values),torch.tensor(outputs.values)
x, y

  (tensor([[3., 1., 0.], [2., 0., 1.], [4., 0., 1.], [3., 0., 1.]], dtype=torch.float64), tensor([127500, 106000, 178100, 140000]))

6.一个很重要的问题：不能随便改元素值，如下问题，改变b值，a值会跟着变

a = torch.arange(12)
b = a.reshape((3,4))
b[:] = 2
a

  tensor([2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])