Background
分别使用CNN和LSTM对图像和文字进行处理: 将两个神经网络结合:
应用领域
图像搜索
安全
鉴黄
涉猎知识
- 数字图像处理
- 图像读取
- 图像缩放
- 图像数据纬度变换
- 自然语言处理
- 文字清洗
- 文字嵌入(Embedding)
- CNN卷积神经网络
- 图像特征提取
- 迁移学习(Transfer Learning)
- LSTM递归神经网络
- 文字串(sequence)特征提取
- DNN深度神经网络
- 从图像特征和文字串(sequence)的特征预测下一个单词
使用数据集
Framing Image Description as a Ranking Task:Data, Models, and Evaluation Metrics,2013.
- Flickr8K
- 8000个图像,每幅图5个标题,描述图像里面的事物和事件
- 不包含著名人物和地点
- 分为3个集合:6000个训练图像,1000个开发图像,1000个测试图像
数据示例
- A child in a pink dress is climbing up a set of stairs in an entry way.
- A girl going into a wooden building .
- A little girl climbing into a wooden playhouse.
- A little girl climbing the stairs to her playhouse.
- A little girl in a pink dress going into a wooden cabin
目标
自动生成英文标题,与人类生成的标题越相似越好。 衡量两个句子的==相似度(BLEU)==,一个句子与其他几个句子的相似度==(Corpus BLEU)==
- BLEU:Bilingual Evaluation Understudy(双语评估替换)。
- BLEU是一个比较候选文本翻译与其他一个或多个参考翻译的评价分数。尽管他是为翻译工作而开发的,但是仍然可以用于评估自动生成的文本质量
VGG16网络模型
Very Deep Convplutional Networks For Large-Scale Visual Recognition
Pre-trained model:Oxford Visual Geometry Group赢得2014ImageNet竞赛
用于图像分类,讲输入图像分为1000个类别
绿色标注为VGG网络。可以看出,该网络有16个权值层,5个池化层
编写代码实现网络(练习)
准备框架
from keras.models import Sequential
from keras.layers import Dense, Flatten
from keras.layers import Conv2D
from keras.layers import MaxPooling2D
def generate_vgg16():
"""
搭建VGG16神经网络
:return:VGG16神经网络
"""
pass
if __name__ =='__main__':
model = generate_vgg16()
model.summary()
VGG16输入为(224,224,RGB)的图像
input_shape = (224, 224, 3)
部分网络结构
Maxpooling层和全连接层之间要使用Flatten。 总代码为:
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten
from tensorflow.keras.layers import Conv2D, MaxPooling2D
def generate_vgg16():
"""
搭建VGG16神经网络
:return:VGG16神经网络
"""
input_shape = (224, 224, 3)
model = Sequential([ # 第一层
Conv2D(64, (3, 3), input_shape=input_shape, padding='same', activation='relu'), # output:(None, 224, 224, 64)
Conv2D(64, (3, 3), padding='same', activation='relu'),# output:(None, 224, 224, 64)
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)), # ∵strides,∴output减半:(None, 112, 112, 64)
# 中间层省略了 —— ljy实现
Conv2D(128, (3, 3), padding='same', activation='relu'), # (None, 112, 112, 128)
Conv2D(128, (3, 3), padding='same', activation='relu'), # (None, 112, 112, 128)
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)), # (None, 56, 56, 128)
Conv2D(256, (3, 3), padding='same', activation='relu'), # (None, 56, 56, 256)
Conv2D(256, (3, 3), padding='same', activation='relu'), # (None, 56, 56, 256)
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)), # (None, 28, 28, 256)
Conv2D(512, (3, 3), padding='same', activation='relu'), # (None, 28, 28, 512)
Conv2D(512, (3, 3), padding='same', activation='relu'), # (None, 28, 28, 512)
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)), # (None, 14, 14, 512)
Conv2D(512, (3, 3), padding='same', activation='relu'), # (None, 14, 14, 512)
Conv2D(512, (3, 3), padding='same', activation='relu'), # (None, 14, 14, 512)
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)), # (None, 7, 7, 512)
# 中间层省略部分 -- 结束
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)), # (None, 3, 3, 512)
Flatten(), # Maxpool连接全连接层Dense时,别忘先Flatten(); # output:(None, 4608)
Dense(4096, activation='relu'), # (None, 4096)
Dense(4096, activation='relu'), # (None, 4096)
Dense(1000, activation='softmax'), # 最后一层:分类问题,故选用softmax,output:(None, 1000)
])
return model
if __name__ == '__main__':
model = generate_vgg16()
model.summary()
运行可见输出:
看图说话项目
本项目所需的所有数据集和网络如下: 链接:https://pan.baidu.com/s/1nP856AdlTmcRSPez2—u5A 密码:vs7b
图像特征提取
将flicker8K的图像文件转为图像特征,保存为字典pickle文件
- 从给定的VGG16网络结构文件(JS文件)和网络权值文件,创建VGG16网络
- 修改网络结构(去除最后一层)
- 利用修改的网络结构,提取flicker8K数据集中所有的图像特征,利用字典保存,key为文件名(不带.jpg后缀),value为一个网络的输出
- 将字典保存为features.pkl文件(使用pickle库)
理想网络模型
简化网络模型
从图像到特征
迁移学习(transfer learning)
- VGG16 CNN原本的目标是分类,基于ImageNet数据集进行训练,训练所需的时间比较大,需要4个GPU训练3星期左右
- 可以调整VGG16的网络结构为图像标题生成服务
- VGG16最后一层是将倒数第二层4096纬的输出转为1000纬的输出作为1000类别的分类概率
- 我们可以通过去除最后一层,将倒数第二层的4096纬的输出作为图像标题生成模型的图像特征
代码实现
import os
from tensorflow.keras.models import model_from_json
from tensorflow.keras import backend as K
from tensorflow.keras.models import Model
from PIL import Image as pil_image
import numpy as np
from pickle import dump
from os import listdir
from tqdm import tqdm
def load_vgg16_model():
"""从当前目录下面的 vgg16_exported.json 和 vgg16_exported.h5 两个文件中导入 VGG16 网络并返回创建的网络模型
# Returns
创建的网络模型 model
"""
json_file = open("vgg16_exported.json", 'r')
loaded_model_json = json_file.read()
json_file.close()
model = model_from_json(loaded_model_json)
model.load_weights("vgg16_exported.h5")
return model
def preprocess_input(x):
"""预处理图像用于网络输入, 将图像由RGB格式转为BGR格式.
将图像的每一个图像通道减去其均值
均值BGR三个通道的均值分别为 103.939, 116.779, 123.68
# Arguments
x: numpy 数组, 4维.
data_format: Data format of the image array.
# Returns
Preprocessed Numpy array.
"""
# 'RGB'->'BGR'(Matplotlib image to OpenCV):
# https://www.scivision.co/numpy-image-bgr-to-rgb/
x = x[..., ::-1] # x == x[...], x为np.array()->shape:4维
mean = [103.939, 116.779, 123.68]
x[..., 0] -= mean[0]
x[..., 1] -= mean[1]
x[..., 2] -= mean[2]
return x
def load_img_as_np_array(path, target_size):
"""从给定文件加载图像,转换图像大小为给定target_size,返回32位浮点数numpy数组.
# Arguments
path: 图像文件路径
target_size: 元组(图像高度, 图像宽度).
# Returns
A PIL Image instance.
"""
img = pil_image.open(path)
img = img.resize(target_size, pil_image.NEAREST)
return np.asarray(img, dtype=K.floatx())
def extract_features(directory):
"""提取给定文件夹中所有图像的特征, 将提取的特征保存在文件features.pkl中,
提取的特征保存在一个dict中, key为文件名(不带.jpg后缀), value为特征值[np.array]
Args:
directory: 包含jpg文件的文件夹
Returns:
None
"""
model = load_vgg16_model()
model.layers.pop() # 去除模型最后一层 # 注意此处不加s ↓
model = Model(inputs=model.inputs, outputs=model.layers[-1].output)
print("Extracting...")
features = dict()
pbar = tqdm(total=len(listdir(directory)), desc="进度", ncols=100)
for fn in listdir(directory): # fn: filename
print("\tRead file: ", fn)
fn_path = directory + '/' + fn
# 返回长、宽、通道的三维张量
arr = load_img_as_np_array(fn_path, target_size=(224,224))
# 改变数组的形态,增加一个维度(批处理输入的维度[0])—— 4维
arr = arr.reshape((1, arr.shape[0], arr.shape[1], arr.shape[2]))
# 预处理图像为VGG模型的输入(RGB -> BGR)
arr = preprocess_input(arr)
# 计算特征
feature = model.predict(arr, verbose=0)
print("\tprocessed...", end='')
id = os.path.splitext(fn)[0] # 特征属性名
features[id] = feature
print("Saved. ", id)
pbar.update(1)
print("Complete extracting.")
return features
if __name__ == '__main__':
# 提取所有图像的特征,保存在一个文件中, 大约一小时的时间,最后的文件大小为127M
# 下载zip文件,解压缩到当前目录的子文件夹Flicker8k_Dataset, 注意上传完成的作业时不要上传这个数据集文件
directory = './Flicker8k_Dataset'
features = extract_features(directory)
print('提取特征的文件个数:%d' % len(features))
print(K.image_data_format())
#保存特征到文件
dump(features, open('features.pkl', 'wb'))