Keras应用搭建好的模型一之自制数据集和数据增强

本文介绍了如何构建与预处理自定义数据集,使其与标准数据集格式一致,转换图像为数组,并提供了利用TensorFlow进行数据增强的方法,以解决小样本和视角变化导致的模型性能问题。
摘要由CSDN通过智能技术生成


书写数字数据集mnist的制作

一、目标

将数据集制作成和我们之前到dataset里下载的数据集格式一样,即测试集和训练集的输入特征与标签一一对应,而且要令输入特征是数组形式(因为像mnist数据,我们最原始的输入特征是图片,我们要将图片转化成与它像素值大小相同的数组如28*28)。

二、准备条件

准备条件,也就是在自制数据集前我们应该有什么。我们应该有:
1.一个x_train文件夹和一个x_test文件夹,这两个文件夹里放的分别是训练集的图片(如60000张图片)和测试集的图片(如10000张图片)。
2.一个y_train.txt和y_test.txt两个txt文本文件,这两个文本文件中是每一行里有一张图片名称和该图片对应的标签,如:

0.jgp							5
1.jpg							2
.
.
.
等等

三、编写函数

定义一个函数如generateds(),里面有两个参数,第一个参数是存放x_train(或者是x_test)文件夹的路径,第二个参数是存放y_train(或者是y_test)文本文件的路径:

generateds(path, txt)

代码为:

def generateds(path, txt):
    f = open(txt, 'r')  # 以只读形式打开txt文件
    contents = f.readlines()  # 读取文件中所有行
    f.close()  # 关闭txt文件
    x, y_ = [], []  # 建立空列表
    for content in contents:  # 逐行取出
        value = content.split()  # 以空格分开,图片路径为value[0] , 标签为value[1] , 存入列表
        img_path = path + value[0]  # 拼出图片路径和文件名
        img = Image.open(img_path)  # 读入图片
        img = np.array(img.convert('L'))  # 图片变为8位宽灰度值的np.array格式,模式L为灰色图像,它的每个像素用8个bit表示,也就是0-255,0表示黑,255表示白
        img = img / 255.  # 数据归一化 (实现预处理)
        x.append(img)  # 归一化后的数据,贴到列表x
        y_.append(value[1])  # 标签贴到列表y_
        print('loading : ' + content)  # 打印状态提示

    x = np.array(x)  # 变为np.array格式
    y_ = np.array(y_)  # 变为np.array格式
    y_ = y_.astype(np.int64)  # 变为64位整型
    return x, y_  
  • 1
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
波士顿房价数据集是由1978年美国波士顿与周边地区房屋的信息所构成的数据集。在这个数据集中,我们可以得到包括犯罪率、平均房间数、房屋离工作区中心的距离以及社区中收入中位数等以及14个特征。这些特征将用来预测所对应的房屋价格中位数。 当我们要用神经网络去处理这些数据时,我们需要将数据进行预处理来消除数据的差异性,有可能会进行归一化操作。然后使用 tf.keras 库来搭建神经网络模型,利用包含输入数据和输出数据的训练集对模型进行训练和优化。最终目标是使得神经网络模型能够预测新输入数据的输出数据。 使用 tf.keras 搭建神经网络模型时,我们需要选择合适的激活函数、损失函数以及优化器。常用的优化器包括Adam、SGD、Adadelta等方法。我们需要根据实际情况来选择合适的优化器。常用的激活函数包括ReLU、Sigmoid、Tanh等方法。损失函数的选择也比较关键,常用的损失函数有均方误差、交叉熵等方法。我们可以通过比较模型对不同损失函数的结果来选择最优的损失函数。 在模型训练过程中,我们可以通过监测模型的性能来对模型进行调整,监测指标包括训练集和测试集的准确度、损失等参数。当我们发现模型出现过拟合或者欠拟合等问题时,可以通过增加训练数据、减小网络规模、增加正则化项等方法来改善模型的性能。 总结来说,在使用 tf.keras搭建神经网络模型时,需要经过以下步骤:数据预处理、选择适当的激活函数、损失函数和优化器、模型训练参数调整等等。在实际应用中,我们可能需要通过不断尝试调整模型,从而得到最优的模型参数。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值