TensorFlow学习笔记（三）书写体数字数据集的生成

最新推荐文章于 2022-08-19 21:59:32 发布
最新推荐文章于 2022-08-19 21:59:32 发布
阅读量755 收藏 2
点赞数 1
分类专栏： 学习笔记 文章标签： 手写体数字数据生成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Robits/article/details/103518266
版权

手写体数字的识别——数据集的生成

上篇

TensorFlow学习笔记（二）手写体数字的识别——环境安装

关于代码运行平台

博主示范使用的平台是 PyCharm Community 2019.3 x64 ，仅仅出于个人习惯。
读者也可以在 JupterNotebook 等其他平台上使用。

所用库的引入

import random
import os
from PIL import Image, ImageDraw, ImageFont
import numpy as np

random 和 os 是 python 内置的库，不需要引入。
PIL 是一个生成和处理图片的库。
numpy 将图片转化为张量，方便神经网络进行数据分析。

1. 依次打开 ：File --> Settings --> Project: practice -->Project Interpreter
2. 按下 右侧的小齿轮，点击 Add…
在这里插入图片描述
3. 在 Location 右侧点击📂选择环境安装位置
4. 在Base interpreter 右侧点击浏览（···）选择 Anaconda 安装路径\envs\tensorflow\python3.exe 如图二所示，图一不正确。
可以勾选下面的两个小方框方便以后寻找环境。
在这里插入图片描述

在这里插入图片描述

5. 点击 OK 完成配置，等待一会，可以看到 PyCharm 列出了所有已经安装的库。
如果没有，点击右侧小眼睛图标显示即可
在这里插入图片描述

6. 点击右侧➕，以添加库。
在这里插入图片描述

7. 等待一会，出现如下界面，在搜索栏输入你想要的库的名称。
在这里插入图片描述

8.选中你需要的库，按 Install Package 下载，等待下载完成。
在这里插入图片描述
9. 如果没能下载成功，尝试打开 Terminal，即命令提示符窗口进行手动下载。
注：必须打开正确的环境，即 (tensorflow) C:\Users\用户名\pythonwork>

在这里插入图片描述

输入如下代码：
注：如果使用 Anaconda 环境，可以不安装 numpy ，因为我们之前安装 tensorflow 环境时已经默认安装好了相应的 numpy 包，如果没有，就输
入代码手动安装。

pip install PIL
pip install numpy # 选做

10. 使用JupyterNotebook 的朋友们按照第9步的做法在 tensorflow 环境中安装好了需要的库后就可以愉快的在 JupyterNotebook 里运行代码啦！

生成用来存放数字的文件夹

random.seed(3)
path_data ="data_and_distribution" #文件夹路径

# 在目录下生成用来存放数字的文件夹
def mkdir_for_imgs():
    if not os.path.exists(path_data):
        print(path_data)
        os.makedirs(path_data)

删除路径下的图片

在生成新的数据前必须要先删除之前的数据。

# 删除路径下的图片
def del_imgs():
    dir_nums = os.listdir(path_data)
    for file in dir_nums:
        print("delete: ", path_data + "/" + file)
        os.remove(path_data + "/" + file)
    print("Delete finish", "\n")

生成单张扭曲的数字图像

每行代码的解释都写在了代码注释里。

# 生成单张扭曲的数字图像
def generate_single():
    # 先绘制一个50*50的空图像
    im_50_blank = Image.new('RGB', (50, 50), (255, 255, 255))

    # 创建画笔
    draw = ImageDraw.Draw(im_50_blank)

    # 生成随机数1-9
    num = random.randint(0, 9)

    # 设置字体，这里选取字体大小25
    font = ImageFont.truetype('simsun.ttc', 20)

    # xy是左上角开始的位置坐标
    draw.text(xy=(18, 11), font=font, text=str(num), fill=(0, 0, 0))

    # 随机旋转-10-10角度
    random_angle = random.randint(-10, 10)
    im_50_rotated = im_50_blank.rotate(random_angle)

    # 图形扭曲参数
    params = [1 - float(random.randint(1, 2)) / 100,
              0,
              0,
              0,
              1 - float(random.randint(1, 10)) / 100,
              float(random.randint(1, 2)) / 500,
              0.001,
              float(random.randint(1, 2)) / 500]

    # 创建扭曲
    im_50_transformed = im_50_rotated.transform((50, 50), Image.PERSPECTIVE, params)

    # 生成新的28*28图像
    im_28 = im_50_transformed.crop([11, 11, 39, 39])

    return im_28, num

生成手写体数字和标签存入指定文件夹

# 生成手写体数字和标签存入指定文件夹
def generate_0to9(n,fn=""):
    # 用cnt_num[0]-cnt_num[9]来计数数字1-9生成的个数，方便之后进行命名
    cnt_num = [0 for i in range(10)]
    #用来存储每一组image和label
    lst_img=[]
    lst_label=[]

    for m in range(n):
        # 调用生成图像文件函数
        im, num = generate_single()

        # 计数生成的数字1-9的个数,用来查看训练集内容
        cnt_num[num]+=1

        # 取灰度
        im_gray = im.convert('1')

        # 转成数组
        array = np.array(im_gray)
        lst_img.append(array)
        lst_label.append(num)


    # 存储图像张量和标签张量组成的元组
    np.savez(path_data + "/" + "data_{}".format(fn),x=np.array(lst_img),y=np.array(lst_label))
    print("图像数据的形状：",np.array(lst_img).shape,"标签数据的形状：",np.array(lst_label).shape)

    print("\n")
    # 输出显示0-9的分布
    print("生成的0-9的分布：")
    print("  "+str(n)+" in all")
    for k in range(10):
        print("Num", k, ":", cnt_num[k], "in all")

    # 存储0-9的数据分布
    np.savez(path_data + "/" + "distribution_{}".format(fn), dis=np.array(cnt_num))

主程序段执行

注：因为生成的数据集很大，需要一定的时间来运行，请耐心等待。

if __name__=="__main__":
    # 生成目录
    mkdir_for_imgs()

    # 清除已有npy文件
    del_imgs()

    # 生成60000个训练数据
    generate_0to9(60000,"train")

    # 生成10000个检验数据
    generate_0to9(10000,"test")

运行的结果

在这里插入图片描述

在这里插入图片描述

注：成功后可以在工程创建的位置找到如图所示的文件夹，里面有四个npz文件。
在这里插入图片描述

在这里插入图片描述

完整的代码

import random
import os
from PIL import Image, ImageDraw, ImageFont
import numpy as np

random.seed(3)
path_data ="data_and_distribution" #文件夹路径

# 在目录下生成用来存放数字的文件夹
def mkdir_for_imgs():
    if not os.path.exists(path_data):
        print(path_data)
        os.makedirs(path_data)


# 删除路径下的图片
def del_imgs():
    dir_nums = os.listdir(path_data)
    for file in dir_nums:
        print("delete: ", path_data + "/" + file)
        os.remove(path_data + "/" + file)
    print("Delete finish", "\n")


# 生成单张扭曲的数字图像
def generate_single():
    # 先绘制一个50*50的空图像
    im_50_blank = Image.new('RGB', (50, 50), (255, 255, 255))

    # 创建画笔
    draw = ImageDraw.Draw(im_50_blank)

    # 生成随机数1-9
    num = random.randint(0, 9)

    # 设置字体，这里选取字体大小25
    font = ImageFont.truetype('simsun.ttc', 20)

    # xy是左上角开始的位置坐标
    draw.text(xy=(18, 11), font=font, text=str(num), fill=(0, 0, 0))

    # 随机旋转-10-10角度
    random_angle = random.randint(-10, 10)
    im_50_rotated = im_50_blank.rotate(random_angle)

    # 图形扭曲参数
    params = [1 - float(random.randint(1, 2)) / 100,
              0,
              0,
              0,
              1 - float(random.randint(1, 10)) / 100,
              float(random.randint(1, 2)) / 500,
              0.001,
              float(random.randint(1, 2)) / 500]

    # 创建扭曲
    im_50_transformed = im_50_rotated.transform((50, 50), Image.PERSPECTIVE, params)

    # 生成新的28*28图像
    im_28 = im_50_transformed.crop([11, 11, 39, 39])

    return im_28, num


# 生成手写体数字和标签存入指定文件夹
def generate_0to9(n,fn=""):
    # 用cnt_num[0]-cnt_num[9]来计数数字1-9生成的个数，方便之后进行命名
    cnt_num = [0 for i in range(10)]
    #用来存储每一组image和label
    lst_img=[]
    lst_label=[]

    for m in range(n):
        # 调用生成图像文件函数
        im, num = generate_single()

        # 计数生成的数字1-9的个数,用来查看训练集内容
        cnt_num[num]+=1

        # 取灰度
        im_gray = im.convert('1')

        # 转成数组
        array = np.array(im_gray)
        lst_img.append(array)
        lst_label.append(num)


    # 存储图像张量和标签张量组成的元组
    np.savez(path_data + "/" + "data_{}".format(fn),x=np.array(lst_img),y=np.array(lst_label))
    print("图像数据的形状：",np.array(lst_img).shape,"标签数据的形状：",np.array(lst_label).shape)

    print("\n")
    # 输出显示0-9的分布
    print("生成的0-9的分布：")
    print("  "+str(n)+" in all")
    for k in range(10):
        print("Num", k, ":", cnt_num[k], "in all")

    # 存储0-9的数据分布
    np.savez(path_data + "/" + "distribution_{}".format(fn), dis=np.array(cnt_num))

if __name__=="__main__":
    # 生成目录
    mkdir_for_imgs()

    # 清除已有npy文件
    del_imgs()

    # 生成60000个训练数据
    generate_0to9(60000,"train")

    # 生成10000个检验数据
    generate_0to9(10000,"test")

附录

圆香之心
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tensorflow 自己的手写数字实践与数据集制作
Castanea的博客
08-22 2115
前面学习了关于使用MNIST数据集中的数据进行训练和测试。现在要用自己的手写数字进行识别 使用自己的手写数字进行识别 主要部分如下 def application(): testNum = int(input("input the number of test pictures:")) for i in range(testNum): testPic = i...
【OCR技术系列之三】大批量生成文字训练集
weixin_34377065的博客
02-09 3100
放假了，终于可以继续可以静下心写一写OCR方面的东西。上次谈到文字的切割，今天打算总结一下我们怎么得到用于训练的文字数据集。如果是想训练一个手写体识别的模型，用一些前人收集好的手写文字集就好了，比如中科院的这些数据集。但是如果我们只是想要训练一个专门用于识别印刷汉字的模型，那么我们就需要各种印刷字体的训练集，那怎么获取呢？借助强大的图像库，自己生成就行了！ 先捋一捋思路，生成文字集需要什么步骤： ...
GAN生成手写数字（TensorFlow，Mnist数据集）
人工智能方向，计算机视觉
08-19 1256
GAN生成手写数字（TensorFlow，Mnist数据集）
mnist手写数据集TensorFlow实现
fenfyue的博客
02-26 346
TensorFlow架构简介 TensorFlow是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。它灵活的架构让可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。TensorFlow 最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究。 计算速度较快但是较麻烦，会话在c++中进行. TensorFlow 1.0与2.0之间存在着区别。 mnist手写数
GAN（博弈）- 生成手写数据集
Persist_bcl的博客
11-10 1495
2.1 GAN的基本结构 GAN的主要结构包括一个生成器G（Generator）和一个判别器D（Discriminator）。 我们现在拥有大量的手写数字的数据集，我们希望通过GAN生成一些能够以假乱真的手写字图片。主要由如下两个部分组成： 定义一个模型来作为生成器（图三中蓝色部分Generator），能够输入一个向量，输出手写数字大小的像素图像。 定义一个分类器来作为判别器（图三中红色部分Discriminator）用来判别图片是真的还是假的（或者说是来自数据集中的还是生成器中生成的），...
中文手写数据集训练识别
热门推荐
shifuren的博客
05-08 2万+
一、介绍1、摘要：中文手写数据集是由 模式识别国家实验室（NLPR）和中国自动化研究所科学院（CASIA）共同整理的    这个数据集是由171个字母数字字符和符号以及 3,866 中文汉字 (DB1.0) 或者3,755 中文汉字(DB1.1)组成/2、工具：网络参数可视化在线工具 http://ethereon.github.io/netscope/#/editor二、使用vs2013 编译p...
自制手写体MNIST数据集0~9（png格式）
03-24
自制手写体MNIST数据集0~9，可用于测试MNIST模型的学习结果，格式为png图像，28*28像素，白底黑字。
Tensorflow学习笔记（三）上–Tensorflow基础API使用
01-20
内容包括tensorflow基础数据类型、自定义模型和损失函数、 自定义求导、tf.function、图结构等以及其在图像分类、房价预测上的实现。 import matplotlib as mpl import matplotlib.pyplot as plt %matplotlib ...
北大tensorflow学习笔记
11-09
北大tensorflow课程的用的ppt，助教的学习笔记。适合机器学习的入门
机器学习笔记2–sklearn之iris数据集
01-27
本文来自于fujiabin,本篇会使用scikit-learn这个开源机器学习库来对iris数据集进行分类练习。我将分别使用两种不同的scikit-learn内置算法——DecisionTree（决策树）和kNN（邻近算法），随后我也会尝试自己实现kNN...
tensorflow学习笔记
01-07
tf.variable_scope()： 提供了简单的命名空间技术以避免冲突,可以让变量有相同的命名，包括tf.get_variable得到的变量，还有tf.Variable的变量 tf.name_scope()： 可以让变量有相同的命名，只是限于tf.Variable的...
TensorFlow学习笔记.zip
01-15
TensorFlow 是一个端到端开源机器学习平台，本文档为TensorFlow的学习笔记，其中包括神经网络的搭建以及如何用神经网络来进行手写数字识别和图像识别。
深度学习在手写汉字识别中的应用综述_金连文
11-11
深度学习在手写汉字识别中的应用综述_金连文，自己收集到的。
数码管字体数字的数据集
05-08
数码管字体数字的数据集
基于TensorFlow的数字识别程序
05-03
基于TensorFlow的数字识别软件，有GUI界面，可以使用GPU进行训练，仅测试过python2.7版本，直接运行ui.py即可，其他功能直接点击按钮，可进行神经网络训练，单张图片识别等，需要导入TensorFlow等模块，适合作为课堂作业提交
基于tensorflow+CNN的MNIST数据集手写数字分类-附件资源
03-05
基于tensorflow+CNN的MNIST数据集手写数字分类-附件资源
knn算法实现的数字识别包括训练集和测试集和代码
11-18
knn算法实现的数字识别包括 训练集 和 测试集 以及代码
深度学习（八）——自动生成图片数据集
qq_37100442的博客
11-13 1万+
    最近做了一个汉字验证码识别的项目，该项目最大的难点就是数据集的准备。在自己没有数据集的情况下选择了自动生成，不过自己生成的数据集训练出来的模型，只在用自己方法生成的数据上表现比较好，但是在真实数据集上表现比较差，也算是自己为自己踩了一格坑。不过自己生成数据集的经历，还是学到了很多知识。并且该方法产生的数据集，可以产生无限的大量数据，可以供后面一些模型的测试，提供了很好的资源，今天我也把产生...
tensorflow2.0 生成数据集方法（数据类型）
weixin_43113694的博客
01-05 779
from tensorflow import data as tfdata batch_size = 10 # 将训练数据的特征和标签组合 dataset = tfdata.Dataset.from_tensor_slices((features, labels)) # 随机读取小批量 dataset = dataset.shuffle(buffer_size=num_examples) da...
MNIST数据集及创建自己的手写数字数据集
最新发布
10-17
如果想要创建自己的手写数字数据集，可以按照以下步骤进行： 1. 准备数据采集设备，如笔记本电脑、平板电脑、手机等。 2. 准备数据采集软件，如Microsoft Paint、Adobe Photoshop等。 3. 在软件中创建一个画布，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值