float32和float64的本质区别(类型对深度学习影响以及python的使用)

首先我们需要知道何为bits和bytes?

1. bits:名为位数
2. bytes:为字节
3. 简单的数就是MB和G的关系！那么8bits=1bytes，下面是各个单位的相互转化！

 那么float32和float64有什么区别呢?

1. 数位的区别
2. 一个在内存中占分别32和64个bits，也就是4bytes或8bytes
3. 数位越高浮点数的精度越高

它会影响深度学习计算效率?

float64占用的内存是float32的两倍，是float16的4倍；比如对于CIFAR10数据集，如果采用float64来表示，需要60000*32*32*3*8/1024**3=1.4G，光把数据集调入内存就需要1.4G；如果采用float32，只需要0.7G，如果采用float16，只需要0.35G左右；占用内存的多少，会对系统运行效率有严重影响；（因此数据集文件都是采用uint8来存在数据，保持文件最小）

Pandas各数据类型占用内存情况表

Python使用numpy将数据类型设置为float32

import numpy as np
data = np.array([1,2,3,4,5,6,7,8,9],dtype='float32')

pandas分析float32和64的内存占用情况

pandas之所以处理数据速度快的原因就是他将数据加载到内存进行处理，下面使用pandas加载数据分别测试不同数据类型，相同的数据所占内存情况~

import pandas as pd
data = pd.DataFrame([1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9], dtype="float64")

data1 = pd.DataFrame([1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9], dtype="float32")

print(data.info(memory_usage=True))
print(data1.info(memory_usage=True))

 打印结果如下，我们只需要查看占用内存大小即可，float64数据占用192bytes，float32数据占用160bytes

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 8 entries, 0 to 7
Data columns (total 1 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   0       8 non-null      float64
dtypes: float64(1)
memory usage: 192.0 bytes       ----------------->内存占用大小
None
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 8 entries, 0 to 7
Data columns (total 1 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   0       8 non-null      float32
dtypes: float32(1)
memory usage: 160.0 bytes        ----------------->内存占用大小
None