深度学习38（数据的封装加载）

课程38

开始的部分就是，每次打开jupyter的时候，在写程序的时候都需要导入一堆的包，可以对启动文件进行一些配置，让每次打开jupyter都自动把这些包都加载好，不用再自己输入

 手动实现训练集和测试集的切分

 

 

 

应用下面这个方法切分的数据集自带dataset这个属性

 切分函数里面的[2,2]表示的是切分成几份，每份里面有多少个数据

 

如果提取到的数据是array格式的，那么可以先转换成tensor，然后再用dataset和dateloader进行处理

下面介绍的是一种比较通用的用于将array类型的数据转换成tensor的函数，但是这里面传入的数据是sklearn里面的数据集，这个数据集里面包含data和targrt，假如我用自己的excel保存的数据，应该就不能应用这个功能了吧

 可以通过索引查看相应的数据

 ​​​​​

 可以看到切分的数据类型是subset类型的，这种类型貌似就是迭代器那种？

 上面的代码应该是判断数据类型的，不是说判断这俩是不是一个数据，不是这样的，下面会解释

 

可以查看切分的数据集在原数据集索引的位置

 ​​​​

 

 解释上面，这个数据的.dataset属性是可以进行逐层回溯的，回溯之后的数据就是没有切分的数据，这上面的代码就是确定回溯的数据就是原来的数据，通过==判别，可以看到确实是原来的数据

以上说的那些方法都是在数据封装好了以后再开始进行调用的，下面是对数据进行处理的流程

sklearn中的 train_test_split函数处理的数据都是实体的数据，比较占内存，数据量大的时候不推荐使用这个函数，首选的是pytorch原生的类，其次是自己根据pytorch创建可以处理张量的方法

 

 在计算mse的时候，由于dataset是不能直接代入进行计算的，所以采用一些方法进行计算