（12-3）TensorFlow无监督学习实战：视频嵌入系统

最新推荐文章于 2024-07-12 14:17:28 发布
最新推荐文章于 2024-07-12 14:17:28 发布
阅读量516 收藏 2
点赞数 24
分类专栏： 《零基础学习TensorFlow》 文章标签： 学习 tensorflow python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asd343442/article/details/140003598
版权

请看下面的实例，功能是使用Keras OpenCV来初始预处理，然后使用 TensorFlow对某个视频进行无监督学习，在本实例中，将视频（.mp4 格式）转换为 256 列向量，这样就可以在广告推荐系统中进一步使用。程序文件Main.ipynb的具体实现流程如下所示。

（1）准备要处理的MP4视频文件，代码如下所示。

from PIL import Image
import os, sys
path = "/home/til/Video/code/Images/"
path1 = "/home/til/Video/code/resize/"
dirs = sorted(os.listdir( path ))
print (dirs)
def resize():
    for item in dirs:
        if os.path.isfile(path+item):
            im = Image.open(path+item).convert("RGB")
            f, e = os.path.splitext(path+item)
            imResize = im.resize((96,64), Image.ANTIALIAS)
            imResize.save(f + '.jpg', 'JPEG', quality=90)

resize()

['frame0.jpg', 'frame1.jpg', 'frame10.jpg', 'frame11.jpg', 'frame12.jpg', 'frame13.jpg', 'frame14.jpg', 'frame15.jpg', 'frame16.jpg', 'frame17.jpg', 'frame18.jpg', 'frame19.jpg', 'frame2.jpg', 'frame20.jpg', 'frame21.jpg', 'frame22.jpg', 'frame23.jpg', 'frame24.jpg', 'frame25.jpg', 'frame26.jpg', 'frame27.jpg', 'frame28.jpg', 'frame29.jpg', 'frame3.jpg', 'frame30.jpg', 'frame31.jpg', 'frame32.jpg', 'frame33.jpg', 'frame34.jpg', 'frame35.jpg', 'frame36.jpg', 'frame37.jpg', 'frame38.jpg', 'frame39.jpg', 'frame4.jpg', 'frame40.jpg', 'frame41.jpg', 'frame42.jpg', 'frame43.jpg', 'frame44.jpg', 'frame45.jpg', 'frame46.jpg', 'frame47.jpg', 'frame48.jpg', 'frame49.jpg', 'frame5.jpg', 'frame50.jpg', 'frame51.jpg', 'frame52.jpg', 'frame53.jpg', 'frame54.jpg', 'frame55.jpg', 'frame56.jpg', 'frame57.jpg', 'frame58.jpg', 'frame59.jpg', 'frame6.jpg', 'frame60.jpg', 'frame61.jpg', 'frame62.jpg', 'frame7.jpg', 'frame8.jpg', 'frame9.jpg']

（3）加载处理其中的一帧图片，在标准化处理后可以将其转换为JPG格式或数组格式。

from keras.preprocessing.image import load_img
#载入图片
img = load_img('/home/til/Video/code/Images/frame1.jpg')
# report details about the image
print(type(img))
print(img.format)
print(img.mode)
print(img.size)
#显示图像
img.show()
images = []
for item in dirs:
    if os.path.isfile(path+item):
        img =  cv2.imread(path+item)
        img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

        X = np.array(img_gray)
        X = X.astype('float32')
        #标准化X
        X /= 255.0

        images.append(X)
    
    
#如果需要，转换为RGB
  # img = img.convert('RGB')
#转换为数组
  
images = np.array(images)
print(images.shape)

执行后会输出：

<class 'PIL.JpegImagePlugin.JpegImageFile'>
JPEG
RGB
(96, 64)

(63, 64, 96)

（4）开始训练图片，设置训练超参数，创建编码模型，使用函数summary()打印输出概览信息。

x_train = images
warnings.filterwarnings('ignore', category=UserWarning, module='skimage')
seed = 42
random.seed = seed
np.random.seed = seed

IMG_WIDTH = 96
    IMG_HEIGHT = 64
    IMG_CHANNELS = 3

INPUT_SHAPE = (64, 96, 1)

from keras.layers import Input, Dense, UpSampling2D, Flatten, Reshape

def Encoder():
    inp = Input(shape=INPUT_SHAPE)
    x = Conv2D(128, (4, 4), activation='elu', padding='same',name='encode1')(inp)
    x = Conv2D(64, (3, 3), activation='elu', padding='same',name='encode2')(x)
    x = MaxPooling2D((2, 2), padding='same')(x)
    x = Conv2D(64, (3, 3), activation='elu', padding='same',name='encode3')(x)
    x = Conv2D(32, (2, 2), activation='elu', padding='same',name='encode4')(x)
    x = MaxPooling2D((2, 2), padding='same')(x)
    x = Conv2D(64, (3, 3), activation='elu', padding='same',name='encode5')(x)
    x = Conv2D(32, (2, 2), activation='elu', padding='same',name='encode6')(x)
    x = MaxPooling2D((2, 2), padding='same')(x)
    x = Conv2D(64, (3, 3), activation='elu', padding='same',name='encode7')(x)
    x = Conv2D(32, (2, 2), activation='elu', padding='same',name='encode8')(x)
    x = MaxPooling2D((2, 2), padding='same')(x)
    x = Conv2D(32, (3, 3), activation='elu', padding='same',name='encode9')(x)
    x = Flatten()(x)
    x = Dense(256, activation='elu',name='encode10')(x)
    encoded = Dense(128, activation='sigmoid',name='encode11')(x)
    return Model(inp, encoded)

encoder = Encoder()
encoder.summary()

执行后会输出：

Model: "model_9"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_7 (InputLayer)         (None, 64, 96, 1)         0         
_________________________________________________________________
encode1 (Conv2D)             (None, 64, 96, 128)       2176      
_________________________________________________________________
encode2 (Conv2D)             (None, 64, 96, 64)        73792     
_________________________________________________________________
max_pooling2d_17 (MaxPooling (None, 32, 48, 64)        0         
_________________________________________________________________
encode3 (Conv2D)             (None, 32, 48, 64)        36928     
_________________________________________________________________
encode4 (Conv2D)             (None, 32, 48, 32)        8224      
_________________________________________________________________
max_pooling2d_18 (MaxPooling (None, 16, 24, 32)        0         
_________________________________________________________________
encode5 (Conv2D)             (None, 16, 24, 64)        18496     
_________________________________________________________________
encode6 (Conv2D)             (None, 16, 24, 32)        8224      
_________________________________________________________________
max_pooling2d_19 (MaxPooling (None, 8, 12, 32)         0         
_________________________________________________________________
encode7 (Conv2D)             (None, 8, 12, 64)         18496     
_________________________________________________________________
encode8 (Conv2D)             (None, 8, 12, 32)         8224      
_________________________________________________________________
max_pooling2d_20 (MaxPooling (None, 4, 6, 32)          0         
_________________________________________________________________
encode9 (Conv2D)             (None, 4, 6, 32)          9248      
_________________________________________________________________
flatten_5 (Flatten)          (None, 768)               0         
_________________________________________________________________
encode10 (Dense)             (None, 256)               196864    
_________________________________________________________________
encode11 (Dense)             (None, 128)               32896     
=================================================================
Total params: 413,568
Trainable params: 413,568
Non-trainable params: 0
_________________________________________________________________

（5）为了在训练过程中缩小学习率，进而提升模型，在本实例中使用了Keras中的回调函数ReduceLROnPlateau()，最后保存训练的模型。

learning_rate_reduction = ReduceLROnPlateau(monitor='val_loss', 
                                            patience=4, 
                                            verbose=1, 
                                            factor=0.5,
                                            min_lr=0.00001)

checkpoint = ModelCheckpoint("Dancer_Auto_Model.hdf5",
                             save_best_only=True,
                             monitor='val_loss',
                             mode='min')

early_stopping = EarlyStopping(monitor='val_loss',
                              patience=8,
                              verbose=1,
                              mode='min',
                              restore_best_weights=True)

（6）在训练完毕后，使用imshow()输出显示指定大小的图像。

class ImgSample(Callback):

    def __init__(self):
       super(Callback, self).__init__() 

    def on_epoch_end(self, epoch, logs={}):
        sample_img = x_train[50]
        sample_img = sample_img.reshape(1, IMG_HEIGHT, IMG_WIDTH, 1)
        sample_img = self.model.predict(sample_img)[0]
        imshow(sample_img.reshape(IMG_HEIGHT,IMG_WIDTH))
        plt.show()


imgsample = ImgSample()
model_callbacks = [learning_rate_reduction, checkpoint, early_stopping, imgsample]
imshow(x_train[50].reshape(IMG_HEIGHT,IMG_WIDTH))

执行效果如图12-1所示。

图12-1  执行效果

（7）调用前面训练的模型文件，调用函数decoder.predict()对测试集进行预测，最后输出预测解码图像。

encoder = Encoder()
encoder.load_weights("Auto_Weights.hdf5", by_name=True)

encoder.save('Encoder_Model.hdf5')

decoder.save_weights("Decoder_Weights.hdf5")
encoder.save_weights("Encoder_Weights.hdf5")

encoder_imgs = encoder.predict(x1)
print(encoder_imgs.shape)
np.save('Encoded.npy',encoder_imgs)

decoded_imgs = decoder.predict(encoder_imgs[0:11])

plt.figure(figsize=(20, 4))
for i in range(5,10):
    # reconstruction
    plt.subplot(1, 10, i + 1)
    plt.imshow(decoded_imgs[i].reshape(IMG_HEIGHT, IMG_WIDTH))
    plt.axis('off')
 
plt.tight_layout()
plt.show()

执行效果如图12-2所示。

图12-2  预测图像

（8）创建LSTM网络，设置训练超参数，创建编码模型，使用函数summary()打印输出概览信息。

seed = 42
random.seed = seed
np.random.seed = seed

IMG_WIDTH = 96
    IMG_HEIGHT = 64
    IMG_CHANNELS = 3

from keras.layers import Input, Dense, UpSampling2D, Flatten, Reshape

def Encoder():
    inp = Input(shape=INPUT_SHAPE)
    x = Conv2D(128, (4, 4), activation='elu', padding='same',name='encode1')(inp)
    x = Conv2D(64, (3, 3), activation='elu', padding='same',name='encode2')(x)
    x = MaxPooling2D((2, 2), padding='same')(x)
    x = Conv2D(64, (3, 3), activation='elu', padding='same',name='encode3')(x)
    x = Conv2D(32, (2, 2), activation='elu', padding='same',name='encode4')(x)
    x = MaxPooling2D((2, 2), padding='same')(x)
    x = Conv2D(64, (3, 3), activation='elu', padding='same',name='encode5')(x)
    x = Conv2D(32, (2, 2), activation='elu', padding='same',name='encode6')(x)
    x = MaxPooling2D((2, 2), padding='same')(x)
    x = Conv2D(64, (3, 3), activation='elu', padding='same',name='encode7')(x)
    x = Conv2D(32, (2, 2), activation='elu', padding='same',name='encode8')(x)
    x = MaxPooling2D((2, 2), padding='same')(x)
    x = Conv2D(32, (3, 3), activation='elu', padding='same',name='encode9')(x)
    x = Flatten()(x)
    x = Dense(256, activation='elu',name='encode10')(x)
    encoded = Dense(128, activation='sigmoid',name='encode11')(x)
    return Model(inp, encoded)

encoder = Encoder()
encoder.summary()


Model: "model_9"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_7 (InputLayer)         (None, 64, 96, 1)         0         
_________________________________________________________________
encode1 (Conv2D)             (None, 64, 96, 128)       2176      
_________________________________________________________________
encode2 (Conv2D)             (None, 64, 96, 64)        73792     
_________________________________________________________________
max_pooling2d_17 (MaxPooling (None, 32, 48, 64)        0         
_________________________________________________________________
encode3 (Conv2D)             (None, 32, 48, 64)        36928     
_________________________________________________________________
encode4 (Conv2D)             (None, 32, 48, 32)        8224      
_________________________________________________________________
max_pooling2d_18 (MaxPooling (None, 16, 24, 32)        0         
_________________________________________________________________
encode5 (Conv2D)             (None, 16, 24, 64)        18496     
_________________________________________________________________
encode6 (Conv2D)             (None, 16, 24, 32)        8224      
_________________________________________________________________
max_pooling2d_19 (MaxPooling (None, 8, 12, 32)         0         
_________________________________________________________________
encode7 (Conv2D)             (None, 8, 12, 64)         18496     
_________________________________________________________________
encode8 (Conv2D)             (None, 8, 12, 32)         8224      
_________________________________________________________________
max_pooling2d_20 (MaxPooling (None, 4, 6, 32)          0         
_________________________________________________________________
encode9 (Conv2D)             (None, 4, 6, 32)          9248      
_________________________________________________________________
flatten_5 (Flatten)          (None, 768)               0         
_________________________________________________________________
encode10 (Dense)             (None, 256)               196864    
_________________________________________________________________
encode11 (Dense)             (None, 128)               32896     
=================================================================
Total params: 413,568
Trainable params: 413,568
Non-trainable params: 0
_________________________________________________________________

（9）创建模型后保存，然后使用函数imshow()输出显示指定大小的图像。

learning_rate_reduction = ReduceLROnPlateau(monitor='val_loss', 
                                            patience=4, 
                                            verbose=1, 
                                            factor=0.5,
                                            min_lr=0.00001)

checkpoint = ModelCheckpoint("Dancer_Auto_Model.hdf5",
                             save_best_only=True,
                             monitor='val_loss',
                             mode='min')

early_stopping = EarlyStopping(monitor='val_loss',
                              patience=8,
                              verbose=1,
                              mode='min',
                              restore_best_weights=True)

class ImgSample(Callback):

    def __init__(self):
       super(Callback, self).__init__() 

    def on_epoch_end(self, epoch, logs={}):
        sample_img = x_train[50]
        sample_img = sample_img.reshape(1, IMG_HEIGHT, IMG_WIDTH, 1)
        sample_img = self.model.predict(sample_img)[0]
        imshow(sample_img.reshape(IMG_HEIGHT,IMG_WIDTH))
        plt.show()


imgsample = ImgSample()
model_callbacks = [learning_rate_reduction, checkpoint, early_stopping, imgsample]
imshow(x_train[50].reshape(IMG_HEIGHT,IMG_WIDTH))

码农三叔
关注
  • 24
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
无监督学习的深度学习框架：TensorFlow与PyTorch
禅与计算机程序设计艺术
12-29 854
1.背景介绍 无监督学习是机器学习的一个重要分支，其主要特点是在训练过程中不使用标签信息来指导模型的学习。无监督学习算法通常用于处理结构不明确、无法直接提供标签信息的问题，如聚类、降维、特征提取等。随着深度学习技术的发展，无监督学习也开始广泛应用于深度学习领域。本文将介绍两种流行的深度学习框架：TensorFlow和PyTorch，以及它们在无监督学习
视频中的无监督学习：Deep Nerual Embeddings
weixin_42443072的博客
04-01 519
视频中的无监督学习 ECCV-2020 Unsupervised Learning from Video with Deep Neural Embeddings 概括： 通过定义在视频嵌入分布上的损失函数，利用不同视频内部和不同视频之间的关系 All these works only operate on relationships defined within a single video, differentiating them from VIE, which exploits the relat
视频长期动态运动的无监督学习
04-09
李飞飞重要文献之一，主要涉及视频运动方面的无监督学习。
Sora背后的论文(1)：使用 lstms 对视频展现进行无监督学习
一支烟一朵花
02-19 1495
之前那篇发出后，大家都觉得不错，有很多小伙伴都开始啃论文了。那么我就趁热打铁，把这32篇论文的通俗解读版贴一下。从去年开始，我基本上形成了一个思维方式，任何事情做之前先看看有没有好的AI工具帮助自己提高效率。我本身不是算法出身，也是散装英语的水平，所以这个过程是借助了一些AI工具完成，后面会专门写一篇介绍详细的说明。- AMiner。
（12-1）TensorFlow无监督学习实战：无监督学习的基本概念
码农三叔
06-27 441
在现实生活中常常会有遇到下面的的问题：（1）缺乏足够的先验知识，因此难以人工标注类别;（2）进行人工类别标注的成本太高。很自然地，我们希望计算机能代我们(部分)完成这些工作，或至少提供一些帮助。常见的应用背景包括：（1）一从庞大的样本集合中选出一些具有代表性的加以标注用于分类器的训练。（2）先将所有样本自动分为不同的类别，再由人类对这些类别进行标注。（3）在无类别信息情况下，寻找好的特征。在遇到上述问题时，人们很自然地希望计算机能代我们完成这些工作，或至少提供一些帮助。
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（8）：降维
Morganfs的博客
05-08 1226
· Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 《机器学习》周志华 · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.07~2022.05.08 第八章 降维 许多机器学习问.
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（1）
Morganfs的博客
04-08 1538
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》 - 第一章：机器学习概览，学习内容 Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O'Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9.
AI人工智能技术 Python TensorFlow机器学习实战教程 第8章 自然语言文本处理 共24页.pptx
04-30
本课程还涵盖了其他章节，包括机器学习基础、Tensorflow的使用、线性模型、支持向量机、神经网络、无监督学习、语音处理、图像处理和人脸识别等，构建了一个全面的AI学习路径。通过这些内容的学习，读者可以系统地...
tf-js-examples:关于TensorFlow.js的示例集合
03-21
《TensorFlow.js实战指南——基于tf-js-examples的探索与学习》 TensorFlow.js是Google开发的一款用于在浏览器中运行机器学习模型的JavaScript库。它允许开发者在Web应用中进行机器学习模型的训练和推断，极大地...
机器学习简介：机器学习教程视频源代码
02-06
2. 监督学习：学习如何使用SVM和其他监督算法（如决策树、随机森林等）构建分类和回归模型。 3. 特征工程：探索如何通过特征选择和特征提取来改进模型性能。 4. 模型评估：学习不同的评估指标（如准确率、召回率、F1...
人工智能实战-从 Python 入门到机器学习.zip
08-08
机器学习是人工智能的一个关键分支，它涉及监督学习、无监督学习、半监督学习和强化学习等方法。其中，监督学习是最常见的，包括线性回归、逻辑回归、决策树、随机森林、支持向量机（SVM）以及各种神经网络模型，如...
无监督学习与有监督学习的本质区别是什么_无监督学习在视频领域应用综述
weixin_39621669的博客
11-23 1369
Unsupervised learning in video domain 对于无监督学习，可以简单地理解为利用没有标签的数据集进行学习，进一步地，无监督学习不是告诉一个模型朝着哪个方向学习，而是让模型自己去学习“学习的过程”。而监督学习，就是用人工标记的标签来引导模型学习相应的特征提取方式，这个学习的过程显然很大程度上依赖于标签的指引，相应地必然带有明显的目的性，而无监督学习算法学到的大部分内容...
爬虫学习日记
最新发布
wuhu_czy的博客
07-12 248
爬虫python code
Autoware.universe 高效学习第三章 -- 智驾技术务虚会之智驾技术栈讨论 其一
cy1641395022的博客
07-10 653
Autoware.universe 高效学习第三章 -- 智驾技术务虚会之智驾技术栈讨论 其一
ROS基础学习-ROS运行管理
周陽讀書
07-11 531
ROS运行管理。
jmeter-beanshell学习5-beanshell加减乘除运算
朱文宇的博客
07-08 287
jmeter使用beanshell，jmeter beanshell脚本编写，beanshell进行加减乘除运算
【安卓学习】文本切换器
m0_73241073的博客
07-08 624
文本切换器的使用
Qt/QML学习-动画元素
QT、QML
07-12 291
Qt/QML学习-动画元素

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农三叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值