中文手写数据集训练识别

最新推荐文章于 2024-06-13 16:42:36 发布
最新推荐文章于 2024-06-13 16:42:36 发布
阅读量2.1w 收藏 49
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shifuren/article/details/79443843
版权

一、介绍

1、摘要：中文手写数据集是由 模式识别国家实验室（NLPR）和中国自动化研究所科学院（CASIA）共同整理的

    这个数据集是由171个字母数字字符和符号以及 3,866 中文汉字 (DB1.0) 或者3,755 中文汉字(DB1.1)组成/

2、工具：网络参数可视化在线工具 http://ethereon.github.io/netscope/#/editor

二、使用vs2013 编译pycaffe(windows使用python是由caffe)并安装

1、python必须是python2.7 x64

2、编译release版本成功后把生成的caffe整个目录copy到python安装目录下的Lib\site-packages

3、安装caffe所需的库，具体需要什么库可以使用python自带的命令行 import caffe来检查，不报错表明安装成功（看图）


缺少的库可以到网站https://www.lfd.uci.edu/~gohlke/pythonlibs/来查找

备注：安装python扩展包使用命令 pip install xxxx

三、caffe工具

1、图片转换数据工具

格式：convert_imageset.exe [flags] [图片目录] [图片标签文件.txt] [输出数据文件]

          [flags]：--gray=false 是否是灰度图片

                        --shuffle=false 是否打乱顺序

                        --backend=lmdb 输出数据类型

                        --resize_width=0 修改图片的宽度 默认原宽度

                        --resize_height=0 修改图片的高度 默认原高度

                        --check_size=false 是否检查图片尺寸

                        --encoded=false 是否转换图片格式

                        --encode_type= 设置图片格式

            [图片目录]：txt文件中每行的格式是 “图片名 + 空格 + 标签”标签从0开始

        命令行例子：--gray=1 --shuffle=1 --backend=lmdb --resize_width=40 --resize_height=40 --check_size=0 --  encoded=0 \seg\ \imageLable.txt \xxxx_train_lmdb

2、生成均值文件

    格式：compute_image_mean.exe [flags] [数据文件] [输出均值文件（.proto）]

    [flags]: --backend=lmdb 数据类型

3、训练工具 (具体解释引用 https://www.cnblogs.com/denny402/p/5076285.html)

    格式：caffe.exe [flags] [train] [test] [device_query] [time]

        [flags]: -gpu: 可选参数。该参数用来指定用哪一块gpu运行，根据gpu的id进行选择，如果设置为'-gpu all'则使用所有的gpu运行。如使用第二块gpu运行

            # ./build/tools/caffe train -solver examples/mnist/lenet_solver.prototxt -gpu 2

                    --solver 必选参数。一个protocol buffer类型的文件，即模型的配置文件

             # ./build/tools/caffe train -solver examples/mnist/lenet_solver.prototxt

                    -snapshot:可选参数。该参数用来从快照（snapshot)中恢复训练。可以在solver配置文件设置快照，保存solverstate

                    

            ./build/tools/caffe train -solver examples/mnist/lenet_solver.prototxt -snapshot                 examples/mnist/lenet_iter_5000.solverstate

                    -weights:可选参数。用预先训练好的权重来fine-tuning模型，需要一个caffemodel，不能和-snapshot同时使用

             # ./build/tools/caffe train -solver examples/finetuning_on_flickr_style/solver.prototxt -weights               models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel

                    -iterations: 可选参数，迭代次数，默认为50。 如果在配置文件文件中没有设定迭代次数，则默认迭代50次

                    -model:可选参数，定义在protocol buffer文件中的模型。也可以在solver配置文件中指定

                    -sighup_effect：可选参数。用来设定当程序发生挂起事件时，执行的操作，可以设置为snapshot, stop或none, 默认为snapshot

                    -sigint_effect: 可选参数。用来设定当程序发生键盘中止事件时（ctrl+c), 执行的操作，可以设置为snapshot, stop或none, 默认为stop

                    刚才举例了一些train参数的例子，现在我们来看看其它三个<command>：

                    test参数用在测试阶段，用于最终结果的输出，要模型配置文件中我们可以设定需要输入accuracy还是loss. 假设我们要在验证集中验证已经训练好的模型，就可以这样写

# ./build/tools/caffe test -model examples/mnist/lenet_train_test.prototxt -weights examples/mnist/lenet_iter_10000.caffemodel -gpu 0 -iterations 100

这个例子比较长，不仅用到了test参数，还用到了-model, -weights, -gpu和-iteration四个参数。意思是利用训练好了的权重（-weight)，输入到测试模型中(-model)，用编号为0的gpu(-gpu)测试100次(-iteration)。

time参数用来在屏幕上显示程序运行时间。如：

# ./build/tools/caffe time -model examples/mnist/lenet_train_test.prototxt -iterations 10

这个例子用来在屏幕上显示lenet模型迭代10次所使用的时间。包括每次迭代的forward和backward所用的时间，也包括每层forward和backward所用的平均时间。

# ./build/tools/caffe time -model examples/mnist/lenet_train_test.prototxt -gpu 0

这个例子用来在屏幕上显示lenet模型用gpu迭代50次所使用的时间。

# ./build/tools/caffe time -model examples/mnist/lenet_train_test.prototxt -weights examples/mnist/lenet_iter_10000.caffemodel -gpu 0 -iterations 10

利用给定的权重，利用第一块gpu，迭代10次lenet模型所用的时间。

device_query参数用来诊断gpu信息。

# ./build/tools/caffe device_query -gpu 0

最后，我们来看两个关于gpu的例子

# ./build/tools/caffe train -solver examples/mnist/lenet_solver.prototxt -gpu 0,1
# ./build/tools/caffe train -solver examples/mnist/lenet_solver.prototxt -gpu all

这两个例子表示： 用两块或多块GPU来平行运算，这样速度会快很多。但是如果你只有一块或没有gpu, 就不要加-gpu参数了，加了反而慢。

最后，在linux下，本身就有一个time命令，因此可以结合进来使用，因此我们运行mnist例子的最终命令是(一块gpu)：

4、识别工具

格式：classification.exe [deploy.prototxt文件] [训练好的.caffemodel文件] [均值.proto 文件] [标签.txt文件] [图片文件]

五、微调

(具体参见 http://blog.csdn.net/nongfu_spring/article/details/51514040和官方网址 http://caffe.berkeleyvision.org/gathered/examples/finetune_flickr_style.html)

1. ImageNet原来是1k个类别，finetune时需要根据自己数据集的类别数重新设置fc8层的output数，且新的fc8层的blob_lr会设的大一些（比如10和20），是为了加快收敛。

2. 如果你的网络中某一层的的参数个数变了,例如AlexNet全连接层输出为1000个,而你的网络只需要做2分类也就是输出两个值,那一定要把该层的 name 换一下,不然caffe 在 finetune 源网络的weight 的时候发现维度不匹配会报错的。

3. 自己数据集的类别号从0开始，中间要连续（我师弟有次finetune数据集一直报错，后来发现他是二类分类，但是类别号设成了0和12）


4. 数据集记得打乱，不然很可能不收敛


5. 如果出现不收敛的问题，可以把solver里的lr设的小一点，一般从0.01开始，如果出现loss=nan了就不断往小调整


6. 可以把accuracy和loss的曲线画出来，方便设定stepsize，一般在accuracy和loss都趋于平缓的时候就可以减小lr了

六、结果分析

1、train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的）

2、train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化）

3、train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset）

4、train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;（减少学习率）

5、train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。（最不好的情况）

七、caffe 代码解析

具体见 http://blog.csdn.net/jiongnima/article/details/55800959

八、mask-R-CNN 图像分割实现

具体见 http://blog.csdn.net/scutjy2015/article/details/78715737

九、windows_caffe 增加 rnn网络的方法

具体见：https://blog.csdn.net/zb1165048017/article/details/59112034

引用：论文来自 《Online and Offline Handwritten Chinese Character Recognition:Benchmarking on New Databases》

shifuren
关注
  • 3
    点赞
  • 踩
  • 49
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
【教程】CRNN识别手写汉字数据集
分享知识
04-03 2491
这个专栏更新各种AI，以及各种有趣的教程，有兴趣的小伙伴可以订阅一下。 之前一期介绍了印刷体通用汉字识别，数据集有100w张图片，上一期汉字识别传送门： 【教程】连续的中文汉字识别CRNN_杭漂一族小张的博客-CSDN博客 本期介绍的是手写汉字识别，相比印刷体识别，手写汉字识别的难度更加的大，而且开源的长句子手写汉字数据集特别的少，这里本人通过HW
手写汉字识别数据集的预处理
我的一片小天地----FD
04-18 6847
之前写的数据预处理过于简单，好多朋友不懂，这次认真写一下。 只想要成品的可以直接跳到第三节 前面主要介绍来龙去脉。 1.原始数据获取 手写汉字图片-HWDB的原始数据来自来自于中科院自动化研究所 下载地址为：分别是训练集和测试集 一共包含3000多个汉字 http://www.nlpr.ia.ac.cn/databases/download/feature_data/HWDB1.1trn_gnt...
ChineseMnist KNN中文手写字识别 15000张数据集
04-28
ChineseMnist 中文手写字识别 python 15000张手写中文数据集 使用KNN模型进行分类
中文大数据训练的数据集
qq_34068440的博客
06-12 1379
上述数据集涵盖了广泛的领域，包括新闻、社交媒体、评论、百科问答、机器翻译等。不同的数据集针对不同的NLP任务，可以根据需要选择适合的数据集进行模型训练。在选择适合的高质量数据集是训练中文大模型的关键。上述列举的资源涵盖了多个领域和应用场景，可以根据具体需求对数据进行二次处理和清洗，以提高训练效果。在获取和使用这些数据集时，也要注意遵守相关的数据使用政策和版权规定。
手写中文数据集
uncle_ll的博客
03-03 1万+
手写OCR数据集 这里整理了常用手写数据集，持续更新中，欢迎各位小伙伴贡献数据集～ 中科院自动化研究所-手写中文数据集 华南理工大学-手写中文数据集 NIST手写单字数据集-英文 中科院自动化研究所-手写中文数据集 数据来源：http://www.nlpr.ia.ac.cn/databases/handwriting/Download.html 数据简介： 包含在线和离线两类手写数据，HWDB1.0~1.2总共有3895135个手写单字样本，分属7356类（7185个汉字和171个英文
使用MNIST数据集训练手写数字识别模型
jingshi123456的博客
06-13 1116
MNIST 数据集（手写数字数据集）是一个公开的公共数据集，任何人都可以免费获取它。目前，它已经是一个作为机器学习入门的通用性特别强的数据集之一，所以对于想要学习机器学习分类的、深度神经网络分类的、图像识别与处理的小伙伴，都可以选择MNIST数据集入门。
基于深度学习的MNIST手写数字数据集识别（准确率99%，附代码）
Ps_hello的博客
11-01 1万+
Mnist数据集可以算是学习深度学习最常用到的了。这个数据集包含70000张手写数字图片，分别是60000张训练图片和10000张测试图片，训练集由来自250个不同人手写的数字构成，一般来自高中生，一半来自工作人员，测试集（test set）也是同样比例的手写数字数据，并且保证了测试集和训练集的作者不同。每个图片都是2828个像素点,数据集会把一张图片的数据转成一个2828=784的一维向量存储起来。
「Pytorch」CNN实现手写汉字识别（数据集制作，网络搭建，训练验证测试全部代码）
热门推荐
chenyr0021
07-31 2万+
之前毕业设计用TensorFlow做了手写汉字识别，使用的中科院的数据集。 现在用Pytorch复现一下。 下载链接在文末
python 识别数字字母 训练集_python训练一个简单的感知机用于手写数据集识别
weixin_28795851的博客
03-01 233
python训练一个简单的感知机用于手写数据集识别python训练一个简单的感知机用于手写数据集识别import kerasfrom keras import layersimport matplotlib.pyplot as pltimport joblibimport keras.datasets.mnist as mnistimport pandas as pdimport numpy as...
手写数字识别_MNIST数据集
kui9702的博客
12-14 1万+
前言 MNIST数据集由250个不同的人手写而成，总共有7000张手写数据集。其中训练集有6000张，测试集有1000张。每张图片大小为28x28，或者说是由28x28个像素组成。这章打算用一个简单的模型进行手写字符识别。 MNIST 下载MNIST数据集的方式有很多，可以去MNIST官网下载，也可以用函数api下载 官网下载网页为：http://yann.lecun.com/exdb/mnist/，复制链接打开之后可以在网页中看到以下信息，下图圈起来的就是数据集。 本文采用的是通过pytorch
mnist手写数字识别数据集
01-22
《MNIST手写数字识别数据集详解》 MNIST（Modified National Institute of Standards and Technology）是计算机视觉领域一个非常经典的数据集，专用于手写数字的识别任务。它源自美国国家标准与技术研究所（NIST）...
lenet_手写数据集识别_
10-03
标题中的"lenet_手写数据集识别_"指的是利用LeNet神经网络模型对手写数字进行识别的一个项目。LeNet是Yann LeCun在1998年提出的一种卷积神经网络（Convolutional Neural Network，CNN）架构，主要用于光学字符识别...
手写数字识别数据集9000张图片.zip
04-14
本数据集，名为“手写数字识别数据集9000张图片.zip”，是一个用于训练和测试手写数字识别算法的资源，通常被称作MNIST的子集。MNIST是Machine Number Instantiation System的缩写，是计算机科学领域广泛应用的一个...
隶书行楷数据集-中文字体识别
12-06
总的来说，"隶书行楷数据集-中文字体识别"为研究者和开发者提供了一个宝贵的资源，有助于推动中文字符识别技术的发展，提升人工智能在理解和处理汉字方面的效率和准确性。同时，这也是一项挑战，因为中文字符的多样...
MNIST手写数字识别数据集.zip
03-24
MNIST手写数字识别数据集是机器学习领域中一个非常经典的数据集，它主要用于训练和测试计算机视觉模型，特别是那些涉及图像分类问题的模型。这个数据集由LeCun、Yann、Bottou、Glorot和Haffner等人在1998年创建，是...
html css js网页设计
07-12
HTML、CSS和JavaScript是构建网页和网站的基本技术，它们共同工作来创建和设计用户界面。下面是关于这三种技术的详细介绍： ### HTML (HyperText Markup Language) - **定义**：HTML是构建网页内容的标准标记语言。 - **作用**：用于创建网页的结构和内容，如段落、链接、图片、表格等。 - **语法**：使用标签（如 `<p>`, `<div>`, `<a>`, `<img>` 等）来定义网页元素。 ### CSS (Cascading Style Sheets) - **定义**：CSS是一种样式表语言，用于描述HTML文档的呈现方式。 - **作用**：用于设置网页的布局、颜色、字体和其他视觉元素。 - **语法**：通过选择器（如 `p`, `.myclass`, `#myid` 等）应用样式规则。 ### JavaScript - **定义**：JavaScript是一种脚本语言，通常用于网页上实现交互功能。 - **作用**：允许网页与用户进行交互，如响应用户操作、动态更新内容、动画效果等。 - **语法**：Java
2023年数字乡村建设解决方案PPT(34页).pptx
最新发布
07-12
数字乡村建设解决方案旨在通过数字化转型促进乡村振兴和农业农村现代化。该方案强调了数字乡村建设的战略机遇，以"1+3+5"工程为总体框架，即一个大数据中心、三大服务平台和五类主题应用。方案着重于乡村治理、产业发展和公共服务三大问题，通过完善治理体系、升级治理能力、强化产业链条和改善资源配置来推动乡村全面振兴。 方案中提出的数字乡村大数据中心是信息资源的集散地，依托大数据、AI、物联网等新技术，实现数据驱动的决策支持。三大服务平台包括产业服务、民生服务和治理服务，旨在提升农业生产智能化、经营网络化，同时优化乡村治理结构和提升服务效能。五类主题应用覆盖生产管理、流通营销、行业监管、公共服务和乡村治理，通过具体业务应用体系，实现农业全产业链的数字化管理和服务。 预期建设效益包括通过信息技术促进乡村优势产业发展，形成城郊融合型数字乡村治理新模式，以及创新服务方式，提升服务能力，保障农民权益。整体而言，该方案以数字化为手段，推动乡村经济、治理、文化等多方面的全面升级和发展。
脉冲强光技术在灭菌烧结固化应用解决方案
07-12
脉冲强光技术在灭菌烧结固化应用解决方案，已经得到厂家授权，可以对外公示。
用jittor训练一个手写识别数据集
06-02
好的，以下是用Jittor训练手写识别数据集的步骤： 1. 准备数据集：你可以使用MNIST数据集或者自己制作一个手写数字数据集。对于MNIST数据集，你可以使用以下代码来加载数据集： ```python import jittor.transform as transform from jittor.dataset.mnist import MNIST train_loader = MNIST(train=True, transform=transform.Compose([ transform.Resize(28), transform.ImageNormalize() ])) test_loader = MNIST(train=False, transform=transform.Compose([ transform.Resize(28), transform.ImageNormalize() ])) ``` 2. 定义模型：你可以选择使用卷积神经网络(CNN)或者全连接神经网络(FNN)。以下是一个简单的CNN模型： ```python import jittor as jt class Net(jt.Module): def __init__(self): self.conv1 = jt.nn.Conv(1, 10, kernel_size=5) self.conv2 = jt.nn.Conv(10, 20, kernel_size=5) self.fc1 = jt.nn.Linear(320, 50) self.fc2 = jt.nn.Linear(50, 10) def execute(self, x): x = jt.relu(jt.max_pool2d(self.conv1(x), 2)) x = jt.relu(jt.max_pool2d(self.conv2(x), 2)) x = x.view(x.size(0), -1) x = jt.relu(self.fc1(x)) x = self.fc2(x) return x ``` 3. 定义损失函数和优化器：你可以选择使用交叉熵损失函数和随机梯度下降(SGD)优化器。 ```python loss_fn = jt.nn.CrossEntropyLoss() optimizer = jt.optim.SGD(net.parameters(), lr=0.01, momentum=0.5) ``` 4. 训练模型：使用以下代码训练模型。 ```python for epoch in range(10): total_loss = 0.0 for i, (inputs, targets) in enumerate(train_loader): optimizer.zero_grad() outputs = net(inputs) loss = loss_fn(outputs, targets) loss.backward() optimizer.step() total_loss += loss.item() print("Epoch {}, loss={}".format(epoch+1, total_loss/(i+1))) ``` 5. 测试模型：使用以下代码测试模型。 ```python correct = 0 total = 0 with jt.no_grad(): for i, (inputs, targets) in enumerate(test_loader): outputs = net(inputs) _, predicted = jt.max(outputs.data, 1) total += targets.size(0) correct += (predicted == targets).sum().item() print("Accuracy: {}%".format(100*correct/total)) ``` 这样，你就可以用Jittor训练手写识别数据集了！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值