python cnn模型_字符级CNN分类模型的实现

最新推荐文章于 2024-05-30 23:02:10 发布
最新推荐文章于 2024-05-30 23:02:10 发布
阅读量575 收藏
点赞数
文章标签： python cnn模型

项目环境：

Python3.6

Anaconda+Pipenv管理

使用

# 下载代码

git clone https://github.com/howie6879/char_cnn_text_classification.git

# 利用anaconda建立Python3.6环境

conda create -n python36 python=3.6

# 进入项目

cd char_cnn_text_classification

# --python 后面的路径是上面conda创建的路径地址

pipenv install --python ~/anaconda3/envs/python36/bin/python3.6

# 如果出错 否则跳过这段

pipenv run pip install pip==18.0

# 安装依赖 具体以来可查看Pipenv文件

pipenv install

# 进入代码目录

cd char_cnn_text_classification

模型

模型结构和论文中介绍的一样：

论文中设计了 large 和 small 两种卷积网络，分别对应不同大小的数据集，且都由6个卷积层和3个全连接层共9层神经网络组成

对于英文数据，如果数据集不大，可以考虑使用包含大小写的字母表

数据集

ag_news_csv：新闻数据

对于英文数据，包含在 [ag_news_csv] (char_cnn_text_classification/datasets/ag_news_csv)文件夹里面，信息如下：

训练集：120000

测试集：7600

类别：4

数据集处理类 [DataUtils] (char_cnn_text_classification/utils/data_utils.py)，这里以训练集 shape 为例：

Input实例：(120000, 1014)

Label：(120000, 4)

配置

关于配置，请参考 [Config] (char_cnn_text_classification/config/config.py)类：

# 字母表

alphabet = "abcdefghijklmnopqrstuvwxyz0123456789-,;.!?:'\"/\\|_@#$%^&*~`+-=<>()[]{}"

alphabet_size = len(alphabet)

# 输入大小，即论文中的l0

input_size = 1014

# 训练集类别

num_of_classes = 4

batch_size = 128

epochs = 1000

checkpoint_every = 100

evaluate_every = 100

# 激活函数的 threshold 值

threshold = 1e-6

# 防止过拟合 dropout保留比例

dropout_p = 0.5

# 损失函数

loss = 'categorical_crossentropy'

# 优化器 rmsprop adam

optimizer = 'adam'

训练

配置好环境之后，可以直接进行训练：

python run_model.py

可以在测试集分出20000条作为验证集进行训练

Data loaded from datasets/ag_news_csv/train.csv

CharCNN model built success:

......

Training Started ===>

Train on 100000 samples, validate on 20000 samples

Epoch 1/10

......

100000/100000 [==============================] - 4338s 43ms/step - loss: 0.9999 - acc: 0.5329 - val_loss: 0.6755 - val_acc: 0.7290

Epoch 2/10

......

100000/100000 [==============================] - 4265s 43ms/step - loss: 0.5044 - acc: 0.8204 - val_loss: 0.4582 - val_acc: 0.8405

Epoch 3/10

......

100000/100000 [==============================] - 4268s 43ms/step - loss: 0.3593 - acc: 0.8799 - val_loss: 0.4177 - val_acc: 0.8522

......

迭代了三轮，就达到了论文中所说的效果 0.8522

准确率和误差图示：

可以看到，迭代6、7轮后的结果挺不错，也可以利用 Tensorboard 进行可视化：

tensorboard --logdir=char_cnn_text_classification/logs

测试

char_cnn_model.model.evaluate(test_inputs, test_labels, batch_size=Config.batch_size, verbose=1)

可以得到结果输出：

128/7600 [..............................] - ETA: 1:51

......

7600/7600 [==============================] - 110s 15ms/step

[0.41680785787732977, 0.8789473684210526]

其中：

loss: 0.41

acc: 0.8789

说明

感谢论文作者 Xiang Zhang, Junbo Zhao, Yann LeCun ，以及下面这些开源项目：

本文由howie6879 创作，采用 知识共享署名4.0 国际许可协议进行许可，转载请注明出处！

刷新可加载文末评论

weixin_39952937
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
zh_cnn_text_classify-master.zip_CNN_cnn tensorflow_python CNN_卷
07-14
本项目"zh_cnn_text_classify-master.zip"提供了一个使用CNN进行中文文本分类的示例，特别针对垃圾邮件检测。项目基于Python编程语言，并依赖于强大的深度学习库Tensorflow。 首先，我们要了解CNN的基本结构。CNN由...
验证码识别系统Python，基于CNN卷积神经网络算法
子午的博客
06-14 2058
验证码识别系统，使用Python作为主要开发语言，基于深度学习TensorFlow框架，搭建卷积神经网络算法。并通过对数据集进行训练，最后得到一个识别精度较高的模型。并基于Django框架，开发网页端操作平台，基于Pyqt5搭建桌面端操作界面，实现用户上传一张图片识别其名称。
【深度学习】Python实现CNN操作（附代码）
热门推荐
qq_44747572的博客
10-25 1万+
文章目录0 动机1. Conv2. MaxPool3. Softmax4. Train >参考： https://zhuanlan.zhihu.com/p/102119808 （可以直接看这个） 0 动机 通过普通的神经网络可以实现，但是现在图片越来越大，如果通过 NN 来实现，训练的参数太多。例如 224 x 224 x 3 = 150,528，隐藏层设置为 1024 就需要训练参数 150,528 x 1024 = 1.5 亿 个，这还是第一层，因此会导致我们的网络很庞大。 另一个问题就是特征位置
【深度学习-第6篇】使用python快速实现CNN多变量回归预测（使用pytorch框架）
最新发布
fengzhuqiaoqiu的博客
05-30 2140
这一篇我们讲CNN的多变量回归预测。是的，同样是傻瓜式的快速实现。本篇是之前MATLAB快速实现CNN多变量回归预测的姊妹篇。
基于Python的CNN模型设计 文档+代码
毕业作品网站
05-12 2044
目录 一、 CNN 模型原理 1 CNN 模型 1 什么是 CNN 2 为什么要用 CNN 2 CNN 的内在原理 2 a) 以人的神经系统识别陌生人脸为引。 2 b) 卷积层的作用 3 c) padding 的作用 3 d) 池化层的作用 4 二、 网络结构图 5 三、 创新点 7 四、 结果分析 7 a) 有无 Batch Normalization[1] 7 b) 使用不同 batch size 9 c) 使用不同的优化器 10 𝑡 11 𝜏=1 11 d) 使用残差网络[4] 13 e) 多尺度检
【项目实战】Python基于卷积神经网络CNN模型和VGG16模型进行图片识别项目实战
胖哥真不错的博客
01-22 1万+
Python基于卷积神经网络CNN模型和VGG16模型进行图片识别项目实战
CNN人脸识别（python实现）
apple_51426592的博客
11-04 2648
是纽约大学的一个比较小的人脸库，由40个人的400张图片构成，即每个人的人脸图片为10张。每张图片的灰度级为8位，每个像素的灰度大小位于0-255之间，每张图片大小为64×64。如下图，这个图片大小是1190*942，一共有20*20张人脸，故每张人脸大小是（1190/20）*（942/20）即57*47=2679：本文所用的训练数据就是这张图片，400个样本，40个类别，乍一看样本好像比较小，用CNN效果会好吗？先别下结论，请往下看。《利用Python PIL、cPickle读取和保存图像数据库》。
CNN.zip_CNN 字符_cnn 手写_mnist识别；tensorflow_字符识别（cnn)_深度学习识别
09-24
在压缩包内的文件"CNN.py"可能是整个项目的主代码文件，它包含了构建、训练和评估CNN模型的Python代码。通常，这样的文件会包含导入必要的库（如TensorFlow），定义网络结构（如卷积层、池化层和全连接层），设置超...
CNN.zip_CNN 识别_cNN分类_cnn 分类_matlab CNN_手写字体matlab
07-14
卷积神经网络（CNN，Convolutional Neural Network）是一种深度学习模型，尤其在图像处理领域表现出色，包括图像分类和识别。在这个名为"CNN.zip"的压缩包中，我们找到了一个MATLAB实现的CNN网络，专门用于手写字体...
text_cnn.rar_CNN_cNN分类_keras_text cnn_文本分类 CNN
09-20
在本文中，我们将深入探讨如何使用Keras库中的卷积神经网络（CNN）来实现文本分类，特别是Text-CNN模型。标题中的“text_cnn.rar”可能是一个包含项目源代码的压缩文件，而“text_cnn.py”则是其中的Python脚本，...
机器学习——python训练CNN模型实战（傻瓜式教学，小学生都可以学会）代码开源
m0_69235635的博客
05-03 2610
在本例中，我们定义了一个包含三个卷积层和两个全连接层的 CNN 模型，以处理 3 通道的 32x32 图像。- 加载数据集：使用以下代码来加载 CIFAR10 数据集。第五章 python训练贝叶斯分类器模型实战。第三章 python训练神经网络模型实战。第二章 python训练决策树模型实战。第八章 python训练KNN模型实战。第九章 python训练CNN模型实战。第十章 python训练RNN模型实战。第一章 python训练线性模型实战。第七章 python训练聚类模型实战。
python卷积神经网络（CNN）手写数字识别实现详解
import_torch_as_tf
09-27 8078
卷积神经网络经典案例，手写数字识别代码详解，注释之处如有错误，欢迎指正 from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf #初始化权重函数 def weight_variable(shape): initial = tf.truncated_normal(shape,s...
车牌识别系统Python，基于CNN卷积神经算法
2301_76161259的博客
06-15 1116
车牌识别系统，基于Python实现，通过TensorFlow搭建CNN卷积神经网络模型，对车牌数据集图片进行训练最后得到模型，并基于Django框架搭建网页端平台，实现用户在网页端输入一张图片识别其结果，并基于Pyqt5搭建桌面端可视化界面。在智能交通和车辆监控领域，车牌识别技术扮演了至关重要的角色。今天，我们很荣幸地为大家带来一款全新的车牌识别系统，该系统基于Python语言，采用深度学习技术中的卷积神经网络（CNN），并且为用户提供了Web和桌面两种接口。
Python小项目：利用CNN实现垃圾图片分类
蓝色是天的博客
12-16 3734
在这篇文章中，我们探索了如何利用卷积神经网络（CNN）实现垃圾图片分类。我们从数据预处理开始，详细讨论了CNN的结构、训练和结果可视化。通过这个项目，我们展示了深度学习在环保领域的潜力，通过技术创新，为垃圾分类问题提供了一种创新解决方案。文章鼓励读者继续深入学习，为环保事业贡献一份力量，以创新驱动未来的可持续发展。
2021-08-16
w1234567XH的博客
08-17 195
# coding: utf-8 import sys, os sys.path.append(os.pardir) # 为了导入父目录的文件而进行的设定 import pickle import numpy as np from collections import OrderedDict from common.layers import * from common.gradient import numerical_gradient class SimpleConvNet: """简单的C
卷积神经网络（CNN）简介与Python代码示例
Mm66f的博客
01-18 2055
卷积神经网络（CNN）是一种专门用于处理图像和视频数据的深度学习模型，它通过卷积层和池化层来提取图像特征，并通过全连接层进行分类或预测。在本文中，我们将介绍卷积神经网络的基本原理，并使用 Python 中的 TensorFlow 库来实现一个简单的卷积神经网络示例。
简单的 CNN 模型的代码实现（使用 Python 和 Keras 框架）
qq_34718338的博客
01-16 1219
深度学习是当前机器学习领域最热门的研究方向之一。其中最常用的网络结构之一就是卷积神经网络（Convolutional Neural Network, CNN）。CNN 在图像识别、自然语言处理等领域有着广泛的应用。 CNN 的基本结构包含卷积层、池化层、全连接层等。卷积层用于提取图像的特征，池化层用于降低图像的维度，全连接层用于分类。 下面是一个简单的 CNN 模型的代码实现（使用 Python 和 Keras 框架）：
请使用python 写一个CNN图像识别模型
weixin_35750483的博客
02-18 463
好的，这里是使用 Python 写一个 CNN 图像识别模型的示例代码： import tensorflow as tf # 定义模型的输入 inputs = tf.keras.Input(shape=(28, 28, 1)) # 将输入传递给一个卷积层 x = tf.keras.layers.Conv2D(32, 3, activation='relu')(inputs) # 在卷积层后添...
Python基于PyTorch实现卷积神经网络分类模型(CNN分类算法)项目实战
胖哥真不错的博客
07-24 3553
Python基于PyTorch实现卷积神经网络分类模型(CNN分类算法)项目实战；本项目通过基于PyTorch实现Minst数据集卷积神经网络分类模型。
python cnn 文字识别
01-16
Python是一种很流行的编程语言，CNN（卷积神经网络）是一种强大的深度学习模型，在文字识别方面表现出色。 Python提供了丰富的机器学习和深度学习框架，如TensorFlow和Keras，可以用于实现CNN模型。CNN模型由卷积层、池化层和全连接层构成。在文字识别任务中，我们可以将文字图片作为模型的输入，经过卷积操作提取关键特征，然后通过池化层进行下采样，最后通过全连接层进行分类。 文字识别可以应用于多个领域，如自动化文字识别、光学字符识别和手写字符识别。在自动化文字识别中，我们可以利用CNN模型对大量文档进行快速处理，提高工作效率。在光学字符识别中，通过CNN模型可以将印刷体文字转化为可编辑的电子文本，方便后续使用。在手写字符识别中，CNN模型可以识别各种字母和数字的手写形式，可以应用于签名验证、识别手写邮件地址等场景。 为了实现文字识别，我们需要训练CNN模型。首先，我们需要准备一个包含大量文字图片的数据集，并对图片进行预处理，如图像归一化和标准化。然后，我们利用训练集对CNN模型进行训练，通过反向传播算法更新模型参数。最后，我们使用测试集对已训练好的模型进行评估，评估指标可以是准确率、召回率等。 总而言之，Python的CNN模型在文字识别中具有广泛的应用前景。通过使用Python提供的机器学习和深度学习框架，我们可以构建并训练出高效准确的文字识别模型，从而提高识别效率和准确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值