深度学习处理工具2——读取文件构建数据集

最新推荐文章于 2024-05-12 23:37:33 发布
最新推荐文章于 2024-05-12 23:37:33 发布
阅读量331 收藏 3
点赞数
分类专栏： # 深度学习工具模块函数 文章标签： 深度学习 python 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaotiig/article/details/122180231
版权

两种读取数据构建成深度学习数据集的方法

1 训练验证数据在同一文件夹中

# 将高分影像转换为jpg格式，进行训练,这里用到的是8位深度的3波段的jpg图像，建样本建成了这样的了
# 实际上获得的高分影像应该是4波段16维深度,这个可能需要再考虑一下怎么做

import tensorflow as tf
import numpy as np
import os
import matplotlib.pyplot as plt
import glob
import matplotlib as mpl
import time
from Experiment_GF2.nets.unet import Unet_model
from tensorflow.keras import backend as K
# 使用cpu
#os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
# 使用cpu的时候需要把这个删除了
physical_device = tf.config.experimental.list_physical_devices("GPU")
tf.config.experimental.set_memory_growth(physical_device[0], True)

# 下面这行代码是为了绘图时显示中文
mpl.rcParams['font.sans-serif'] = ["SimHei"]

# 开始计时
time_start=time.time()

#########################################    1  获取图像和图像预处理

## 1.1 读取图像并进行打乱，生成数据集，这里是随机挑选了验证集
imgs = glob.glob(r'H:\01HTutorWork\3GF2\3Code\PestDetect3\dataset\images\*.jpg')
labels = glob.glob(r'H:\01HTutorWork\3GF2\3Code\PestDetect3\dataset\labels\*.png')

## 验证集单独存在一个文件夹里
# imgs_val = glob.glob(r'I:\5GF2\5dataset\5dataset_jpg\3naturedatajpg\*.jpg')
# labels_val = glob.glob(r'I:\5GF2\5dataset\5dataset_jpg\1labelsPNG\*.png')

# 这里注意一定要让图片和标签一一对应，本例中通过验证是对应的，但是一般都需要安名称进行重新排序，这样确保一致
# 这里进行一个乱序，为了让图像训练时，不至于每个批次的图像属于同一类，
# 当然语义分割中不需要进行乱序，因为本身每张图像就包括各种类型，本例中是因为有17个城市拍的照片，所以还是进行了排序
print(len(imgs),len(labels))
index= np.random.permutation(len(imgs))
imgs = np.array(imgs)[index]
labels = np.array(labels)[index]
# 检验标签是否对齐
for i in range(len(imgs)):
    img = imgs[i].split("\\")[-1]
    label = labels[i].split("\\")[-1]
    if img[:-4]!=label[:-4]:
        print("出错了"*1000)

train_number = int(len(imgs)*0.8)
imgs_val = imgs[train_number:]
labels_val = labels[train_number:]

imgs = imgs[:train_number]
labels = labels[:train_number]

# 检验标签是否对齐
for i in range(len(imgs_val)):
    kk_img = imgs_val[i].split("\\")[-1]
    kk_label = labels_val[i].split("\\")[-1]
    if kk_img[:-4]!=kk_label[:-4]:
        print("出错了"*1000)

print("训练图像数量：", len(imgs))
print(imgs[566:570])
print("训练标签数量：", len(labels))
print(labels[566:570])
print("验证图像数量：", len(imgs_val))
print(imgs_val[10:12])
print("验证标签数量：", len(labels_val))
print(labels_val[10:12])

dataset_train = tf.data.Dataset.from_tensor_slices((imgs, labels))
dataset_val = tf.data.Dataset.from_tensor_slices((imgs_val, labels_val))

## 1.2 图像预处理
# 1 读取图像
# 2 图像裁剪，先将img图像和label图像进行拼接，拼接成4通道影像,然后裁剪成网络需要的大小
# 3 图像翻转
# 4 图像归一化

### 1.2.1 读取图像
def read_png_img(path):
    "读取原始3通道的图像"
    img = tf.io.read_file(path)
    img = tf.image.decode_jpeg(img, channels=3)
    return img

def read_png_label(path):
    "读取单通道的语义分割图像"
    img = tf.io.read_file(path)
    img = tf.image.decode_png(img, channels=1)
    return img


### 1.2.2 剪切图像，本例中没有对图像进行裁剪，因为在测试集做的时候也需要resize成同样大小，这样会降低数据样本质量和准确率
###       另外因为本实验输入图像都是640*640，都是同样大小，如果不是同样大小，必须进行裁剪，让它们大小一样
def crop_img(img, mask):
    concat_img = tf.concat([img, mask], axis=-1)
    #concat_img = tf.image.resize(concat_img, (280,280), method=tf.image.ResizeMethod.NEAREST_NEIGHBOR)
    crop_img1 = tf.image.random_crop(concat_img, [256,256,4])

    # 如果直接用[:,:,3]那最后一个维度就没了，就是二维的了
    # return crop_img1[:,:,:3], crop_img1[:,:,3]
    # print(img_crop.shape, label_crop.shape)
    # (256, 256, 3) (256, 256)

    return crop_img1[:,:,:3], crop_img1[:,:,3:]
    # print(img_crop.shape, label_crop.shape)
    # (256, 256, 3) (256, 256, 1)
    # 这样才能保留最后一个维度

### 1.2.3 归一化
def normal(img, mask):
    "这里的两个输入分别代表图像和标签图像"
    # 归一化到-1到1之间，如果除以255就归一化到了0-1之间
    img = tf.cast(img, tf.float32)/127.5-1
    # 这里不除以会超出34或者2类的限制
    mask = mask/255
    mask = tf.cast(mask, tf.int32)
    return img, mask

### 1.2.4 进行图像的反转和整体的预处理实现
#处理后的图像的形状(256, 256, 3)，(256, 256, 1)
def load_image_train(img_path, mask_path):
    "对图像进行处理，输出的都是3维的"
    # 1 先进行读取
    img = read_png_img(img_path)
    mask = read_png_label(mask_path)
    # 2 再进行裁剪
    img, mask = crop_img(img, mask)
    # 3 再进行随即反转
    if tf.random.uniform(())>0.5:
        img = tf.image.flip_left_right(img)
        mask = tf.image.flip_left_right(mask)
    # 4 再进行归一化
    img, mask = normal(img, mask)
    return img, mask

def load_image_test(img_path, mask_path):
    "对测试图像进行处理，输出的都是3维的"
    # 1 先进行读取
    img = read_png_img(img_path)
    mask = read_png_label(mask_path)
    # 2 进行裁剪
    img, mask = crop_img(img, mask)
    #img = tf.image.resize(img, (256, 256))
    #mask = tf.image.resize(mask, (256, 256))
    # 3 再进行归一化
    img, mask = normal(img, mask)
    return img, mask

# 让计算机根据cpu自动读取线程数
auto = tf.data.experimental.AUTOTUNE
dataset_train = dataset_train.map(load_image_train, num_parallel_calls = auto)
dataset_val = dataset_val.map(load_image_test, num_parallel_calls = auto)

2 训练验证数据在不同文件夹

import tensorflow as tf
import numpy as np
import os
import matplotlib.pyplot as plt
import glob
import matplotlib as mpl
import time
from Experiment_GF2.nets.unet import Unet_model
from tensorflow.keras import backend as K
# 使用cpu
#os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
# 使用cpu的时候需要把这个删除了
physical_device = tf.config.experimental.list_physical_devices("GPU")
tf.config.experimental.set_memory_growth(physical_device[0], True)

# 下面这行代码是为了绘图时显示中文
mpl.rcParams['font.sans-serif'] = ["SimHei"]

# 开始计时
time_start=time.time()

#########################################    1  获取图像和图像预处理

## 1.1 读取图像并进行打乱，生成数据集，这里是随机挑选了验证集
imgs = glob.glob(r'H:\01HTutorWork\3GF2\3Code\PestDetect3\dataset\images\*.jpg')
labels = glob.glob(r'H:\01HTutorWork\3GF2\3Code\PestDetect3\dataset\labels\*.png')

## 验证集单独存在一个文件夹里
imgs_val = glob.glob(r'I:\5GF2\5dataset\5dataset_jpg\3naturedatajpg\*.jpg')
labels_val = glob.glob(r'I:\5GF2\5dataset\5dataset_jpg\1labelsPNG\*.png')

# 这里注意一定要让图片和标签一一对应，本例中通过验证是对应的，但是一般都需要安名称进行重新排序，这样确保一致
# 这里进行一个乱序，为了让图像训练时，不至于每个批次的图像属于同一类，
# 当然语义分割中不需要进行乱序，因为本身每张图像就包括各种类型，本例中是因为有17个城市拍的照片，所以还是进行了排序
index= np.random.permutation(len(imgs))
imgs = np.array(imgs)[index]
labels = np.array(labels)[index]
# 检验标签是否对齐
for i in range(len(imgs)):
    img = imgs[i].split("\\")[-1]
    label = labels[i].split("\\")[-1]
    if img[:-4]!=label[:-4]:
        print("出错了"*1000)

index= np.random.permutation(len(imgs_val))
imgs_val = np.array(imgs_val)[index]
labels_val = np.array(labels_val)[index]

# 检验标签是否对齐
for i in range(len(imgs_val)):
    kk_img = imgs_val[i].split("\\")[-1]
    kk_label = labels_val[i].split("\\")[-1]
    if kk_img[:-4]!=kk_label[:-4]:
        print("出错了"*1000)

print("训练图像数量：", len(imgs))
print(imgs[566:570])
print("训练标签数量：", len(labels))
print(labels[566:570])
print("验证图像数量：", len(imgs_val))
print(imgs_val[10:12])
print("验证标签数量：", len(labels_val))
print(labels_val[10:12])

dataset_train = tf.data.Dataset.from_tensor_slices((imgs, labels))
dataset_val = tf.data.Dataset.from_tensor_slices((imgs_val, labels_val))

## 1.2 图像预处理
# 1 读取图像
# 2 图像裁剪，先将img图像和label图像进行拼接，拼接成4通道影像,然后裁剪成网络需要的大小
# 3 图像翻转
# 4 图像归一化

### 1.2.1 读取图像
def read_png_img(path):
    "读取原始3通道的图像"
    img = tf.io.read_file(path)
    img = tf.image.decode_jpeg(img, channels=3)
    return img

def read_png_label(path):
    "读取单通道的语义分割图像"
    img = tf.io.read_file(path)
    img = tf.image.decode_png(img, channels=1)
    return img


### 1.2.2 剪切图像，本例中没有对图像进行裁剪，因为在测试集做的时候也需要resize成同样大小，这样会降低数据样本质量和准确率
###       另外因为本实验输入图像都是640*640，都是同样大小，如果不是同样大小，必须进行裁剪，让它们大小一样
def crop_img(img, mask):
    concat_img = tf.concat([img, mask], axis=-1)
    #concat_img = tf.image.resize(concat_img, (280,280), method=tf.image.ResizeMethod.NEAREST_NEIGHBOR)
    crop_img1 = tf.image.random_crop(concat_img, [256,256,4])

    # 如果直接用[:,:,3]那最后一个维度就没了，就是二维的了
    # return crop_img1[:,:,:3], crop_img1[:,:,3]
    # print(img_crop.shape, label_crop.shape)
    # (256, 256, 3) (256, 256)

    return crop_img1[:,:,:3], crop_img1[:,:,3:]
    # print(img_crop.shape, label_crop.shape)
    # (256, 256, 3) (256, 256, 1)
    # 这样才能保留最后一个维度

### 1.2.3 归一化
def normal(img, mask):
    "这里的两个输入分别代表图像和标签图像"
    # 归一化到-1到1之间，如果除以255就归一化到了0-1之间
    img = tf.cast(img, tf.float32)/127.5-1
    # 这里不除以会超出34或者2类的限制
    mask = mask/255
    mask = tf.cast(mask, tf.int32)
    return img, mask

### 1.2.4 进行图像的反转和整体的预处理实现
#处理后的图像的形状(256, 256, 3)，(256, 256, 1)
def load_image_train(img_path, mask_path):
    "对图像进行处理，输出的都是3维的"
    # 1 先进行读取
    img = read_png_img(img_path)
    mask = read_png_label(mask_path)
    # 2 再进行裁剪
    img, mask = crop_img(img, mask)
    # 3 再进行随即反转
    if tf.random.uniform(())>0.5:
        img = tf.image.flip_left_right(img)
        mask = tf.image.flip_left_right(mask)
    # 4 再进行归一化
    img, mask = normal(img, mask)
    return img, mask

def load_image_test(img_path, mask_path):
    "对测试图像进行处理，输出的都是3维的"
    # 1 先进行读取
    img = read_png_img(img_path)
    mask = read_png_label(mask_path)
    # 2 进行裁剪
    img, mask = crop_img(img, mask)
    #img = tf.image.resize(img, (256, 256))
    #mask = tf.image.resize(mask, (256, 256))
    # 3 再进行归一化
    img, mask = normal(img, mask)
    return img, mask

# 让计算机根据cpu自动读取线程数
auto = tf.data.experimental.AUTOTUNE
dataset_train = dataset_train.map(load_image_train, num_parallel_calls = auto)
dataset_val = dataset_val.map(load_image_test, num_parallel_calls = auto)


## 1.2 图像预处理结束

## 1.3 进行图像的shuffer和批次生成
# 这里是设置的一些参数
EPOCHS = 300
LEARNING_RATE = 0.0001
BATCH_SIZE = 8       # 32
BUFFER_SIZE = 300
Step_per_epoch = len(imgs)//BATCH_SIZE
Val_step = len(imgs_val)//BATCH_SIZE

dataset_train = dataset_train.shuffle(BUFFER_SIZE).batch(BATCH_SIZE)
dataset_val = dataset_val.batch(BATCH_SIZE)
晓码bigdata
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
遥感识别5——模型训练
xiaotiig的博客
12-06 2386
模型训练
MobileNet-V2实现遥感土地利用图像识别
weixin_44095417的博客
12-20 643
此数据集公共领域图像的像素分辨率为 1 英尺（0.3 米），图像像素大小为 256*256，包含 21 个类别的场景图像共计 2100 张，其中每个类别有 100 张。这 21 个类别分别是：农业、飞机、棒球场、海滩、建筑物、树丛、密集住宅、森林、高速公路、高尔夫球场、港口、路口、中型住宅、移动家庭公园、立交桥、停车场、河、跑道、稀疏住宅、储油罐。划分完毕后，数据集分别保存在train、val、test三个文件夹内。首先我们可以对数据集进行划分，按训练集、验证集、测试集比例7：1.5：1.5进行划分。
pytorch-12 深度学习基础网络的数据集创建及手动搭建实现
最新发布
weixin_45311418的博客
05-12 771
尽管深度学习也属于机器学习范畴，基本的建模理念和机器学习类似，比如需要确定目标函数和损失函数、找到合适的优化算法对参数进行求解等等，但利用PyTorch在进行建模的过程却和和最大的机器学习库Scikit-Learn中定义的机器学习建模方法有较大的差别。那为何PyTorch的整个实现过程看似会更加复杂？归根结底，还是和深度学习建模的特殊性有关。
遥感图像识别（标注）软件实现
GreenOpen专注图像处理
12-14 150
遥感图像识别已经有很多成熟的模型和实现，这里我们选择yolov5_obb和dota数据集，以说明并实现一种思路：那就是先识别、再标注、再训练的过程。鉴于领域内数据往往比较封闭，对此类数据的标注实现难度较大，所以需要模型迁移。首先基于已经训练的成果，实现初步标绘；而后通过人在回路的修正，获得精确的结果，最后重新投入到数据训练过程中去。通过这种方式，获得专用数据模型，解决定制问题。 一、y...
【深度学习】基于STL10数据集构建 图像去噪自编码网络 的实验
weixin_46274756的博客
10-25 1510
【深度学习】基于STL10数据集构建 图像去噪自编码网络 的实验
MATLAB深度学习（1） --- 想要做好深度学习？数据集是第一步
m0_54515450的博客
01-10 4595
该项目的目标是想基于某些人的行走引起的楼板振动加速度作为数据，通过深度学习方案，来将这些人的身份进行识别。数据集构建网络搭建（可能会变换多种网络）网络参数选取训练，并基于训练结果调整得出结论当然，该项目是一个全新的课题，充满挑战，所以每一期可能解决的只是项目中的一个问题。对于深度学习方案真正应用到全新的环境中，这确实是一个挑战，但是我们悬着迎难而上！
深度学习框架(TensorFlow)基础教程——第9章：CSV文件读取
10-09
总之，TensorFlow提供的`tf.data`模块使读取和处理CSV文件变得简单而高效，通过构建数据管道，我们能够流畅地将数据导入深度学习模型，为模型训练和验证提供稳定的数据流。这在处理大规模数据集时尤为重要，因为它...
Iris数据集——机器学习入门，实战
07-12
总的来说，Iris数据集是一个理想的机器学习和深度学习实践平台，它让我们有机会亲手操作数据，理解并应用各种分类算法，同时也为深度学习模型的构建和理解提供了一个简单而有效的实例。无论是初学者还是有经验的...
深度学习框架(TensorFlow)基础教程——第11章：二进制文件读取
10-09
在深度学习领域，TensorFlow是一个广泛使用的开源框架，它提供了强大的工具来构建和执行复杂的计算图，特别适合于机器学习和深度学习模型的开发。本教程将深入探讨TensorFlow中的二进制文件读取，这是处理大量数据时...
毕业设计：基于深度学习的多目标人脸识别——本科毕设系统代码.zip
10-23
在这个基于深度学习的多目标人脸识别的毕业设计项目中，学生将深入探讨并实践现代计算机视觉技术，特别是深度学习在人脸识别领域的应用。这个本科毕设系统代码涵盖了从数据预处理、模型构建、训练到最终实现多目标...
adult数据集分析
12-15
然后，读取数据集，查看数据的基本信息，了解数据分布和缺失值情况。接下来，我们可以进行特征工程，比如将类别型数据编码为数值型，以便于决策树处理。数据预处理完成后，就可以划分训练集和测试集。 在训练决策树...
深度学习-制作自己的数据集
bigData1994pb的博客
05-25 5435
1.背景 对于文件夹套子文件夹，子文件夹里有很多同一类别的图像，子文件夹表示里面图像的类别。这种结构的文件叫做图像层叠式即为imageFolder。如下所示： 该文件夹下面有10个类别的子文件夹，如下： 每个子文件夹下有许多图像，如下： 2.开始制作数据集 """ 对于一个文件夹下有多个文件夹，每个子文件夹都是子文件夹里图片的类别名，这种称谓图像层叠形式imageFolder。 """ import os from torch.utils.data import ..
遥感影像识别-训练策略
122&&113的博客
01-20 3259
1. 主动学习结合遥感影像识别 1.1 摘要 在传统的机器学习中，模型的准确度往往由已标记的数据样本规模所决定。但是在实际情况中，海量数据中往往只有极小部分获得了准确标记，而大部分数据未经标记，如果通过专业人员对数据逐个进行标记，将耗费大量的时间成本和经济成本。主动学习是从大量未标记的数据集中检索出最有用的未标记数据，交由专业人员进行标记，然后用该类样本来训练模型以期提高模型的准确率。 1.2 主动学习特点 主动学习作为机器学习中一个重要的领域，其主要特点是通过一定方法的检索，在未标记的数据集中检索出最有意
TensorFlow实现Unet遥感图像分割
jameschen9051的博客
12-26 5684
Unet是一种U型网络，分为左右两部分卷积，左边为下采样提取高维特征，右边为上采样并与左侧融合实现图像分割。这里使用TensorFlow实现Unet网络，实现对遥感影像的道路分割。 训练数据： 标签图像： Unet实现： import tensorflow as tf import numpy as np import cv2 import glob import itertools class UNet: def __init__( self, .
深度学习如何建立一个训练数据集？
张帅影&RS&DeepLearning
02-23 1900
Pytorch中的torchvision包中有一个名为ImageFolder的类，它能很好地为我们完成一切，只要我们的图像在一个适合的目录结构中，其中每一个目录分别是一个标签(例如，所有猫都在一个名为cat的目录中)。对于我们在对猫狗进行分类时，我们只需要以下代码： import torchvision from torchvision import transforms train_data_path='"./train/" transforms=transforms.Compose([ tran
图像处理—数据集的构建
Lcz971209的博客
11-24 5687
本内容针对有监督学习的图像，处理数据集。
深度学习建模实验中数据集创建函数的创建与使用
Quintin
03-10 1678
深度学习建模实验中数据集创建函数的创建与使用
【深度学习】在PyTorch中构建高效的自定义数据集
fengdu78的博客
07-06 1792
文章来源于磐创AI，作者磐创AI学习Dataset类的来龙去脉，使用干净的代码结构，同时最大限度地减少在训练期间管理大量数据的麻烦。神经网络训练在数据管理上可能很难做到“大规模”。PyT...
深度学习入门(一)快速建立自己的图片数据集
热门推荐
程序员西蒙的博客
08-29 1万+
机器学习或深度学习的第一步是获取数据集，一般我们使用业务数据集或公共数据集。本文将介绍使用 Bing Image Search API 和 Python 脚本，快速的建立自己的图片数据集。 1.快速建立图片数据集，我们将使用 Bing Image Search API 建立自己的图片数据集。 首先进入 Bing Image Search API 网站：点击链接 点击“Get API Key”...
用python代码实现Keras深度学习实战——利用单词向量构建情感分析模型
06-07
好的，以下是使用Keras构建情感分析模型的代码示例： 首先，需要导入需要的库： ```python import pandas as pd import numpy as np from keras.preprocessing.text import Tokenizer from keras.preprocessing.sequence import pad_sequences from keras.models import Sequential from keras.layers import Embedding, Conv1D, GlobalMaxPooling1D, Dense ``` 接着，读取数据集并进行预处理： ```python # 读取数据集 data = pd.read_csv('sentiment_analysis.csv') # 将文本转换为小写 texts = data['text'].apply(lambda x: x.lower()) # 将标签转换为数字：0表示负面情感，1表示正面情感 labels = np.array([0 if label == 'negative' else 1 for label in data['label']]) ``` 然后，进行单词向量化： ```python # 将文本转换为单词序列 tokenizer = Tokenizer(num_words=5000) tokenizer.fit_on_texts(texts) sequences = tokenizer.texts_to_sequences(texts) # 对单词序列进行填充，使其长度相同 padded_sequences = pad_sequences(sequences, maxlen=100) ``` 接下来，构建模型： ```python model = Sequential() # 添加嵌入层 model.add(Embedding(input_dim=5000, output_dim=100, input_length=100)) # 添加1D卷积层 model.add(Conv1D(filters=32, kernel_size=3, padding='same', activation='relu')) # 添加全局最大池化层 model.add(GlobalMaxPooling1D()) # 添加全连接层 model.add(Dense(units=64, activation='relu')) # 添加输出层 model.add(Dense(units=1, activation='sigmoid')) # 编译模型 model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) ``` 最后，训练模型并进行评估： ```python # 划分训练集和测试集 indices = np.arange(padded_sequences.shape[0]) np.random.shuffle(indices) padded_sequences = padded_sequences[indices] labels = labels[indices] train_size = int(0.8 * padded_sequences.shape[0]) train_X, test_X = padded_sequences[:train_size], padded_sequences[train_size:] train_y, test_y = labels[:train_size], labels[train_size:] # 训练模型 model.fit(train_X, train_y, epochs=10, batch_size=64) # 评估模型 loss, accuracy = model.evaluate(test_X, test_y) print('Test accuracy:', accuracy) ``` 完整的代码示例如下： ```python import pandas as pd import numpy as np from keras.preprocessing.text import Tokenizer from keras.preprocessing.sequence import pad_sequences from keras.models import Sequential from keras.layers import Embedding, Conv1D, GlobalMaxPooling1D, Dense # 读取数据集 data = pd.read_csv('sentiment_analysis.csv') # 将文本转换为小写 texts = data['text'].apply(lambda x: x.lower()) # 将标签转换为数字：0表示负面情感，1表示正面情感 labels = np.array([0 if label == 'negative' else 1 for label in data['label']]) # 将文本转换为单词序列 tokenizer = Tokenizer(num_words=5000) tokenizer.fit_on_texts(texts) sequences = tokenizer.texts_to_sequences(texts) # 对单词序列进行填充，使其长度相同 padded_sequences = pad_sequences(sequences, maxlen=100) # 构建模型 model = Sequential() # 添加嵌入层 model.add(Embedding(input_dim=5000, output_dim=100, input_length=100)) # 添加1D卷积层 model.add(Conv1D(filters=32, kernel_size=3, padding='same', activation='relu')) # 添加全局最大池化层 model.add(GlobalMaxPooling1D()) # 添加全连接层 model.add(Dense(units=64, activation='relu')) # 添加输出层 model.add(Dense(units=1, activation='sigmoid')) # 编译模型 model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) # 划分训练集和测试集 indices = np.arange(padded_sequences.shape[0]) np.random.shuffle(indices) padded_sequences = padded_sequences[indices] labels = labels[indices] train_size = int(0.8 * padded_sequences.shape[0]) train_X, test_X = padded_sequences[:train_size], padded_sequences[train_size:] train_y, test_y = labels[:train_size], labels[train_size:] # 训练模型 model.fit(train_X, train_y, epochs=10, batch_size=64) # 评估模型 loss, accuracy = model.evaluate(test_X, test_y) print('Test accuracy:', accuracy) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晓码bigdata

如果文章给您带来帮助，感谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值