starlet_kiss的博客

这个问题已经遇见过很多次了，但是每次都要搜一下，写个博客记录一下~import matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号...

在我们之前的实验中，我们一直用torch.nn.Conv2D来实现卷积神经网络，但是torch.nn.Conv2D在实现中是以torch.nn.functional.conv2d为基础的，这两者的区别是什么呢？torch.nn.Conv2D源码如下：torch.nn.Conv2dCLASS torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=T

1.Xception网络简介Xception网络是在2017提出的轻量型网络，兼顾了准确性和参数量，Xception----->Extreme(极致的) Inception。2.创新点引入类似深度可分离卷积：Depthwise Separable Convolution。为什么说是类似深度可分离卷积呢？1）深度可分离卷积的实现过程：2）Xception深度可分离卷积的实现过程：Xception的深度可分离卷积与传统的深度可分离卷积的步骤是相反的，但是原论文作者说，两者的性能差异不大

circshift是Matlab中矩阵循环移位函数，具体使用参照该链接。但是python中并没有封装好的该函数，因此需要自己实现。思路：将矩阵分为两部分，然后按照自己的需要堆叠在一起就可以了。np.vstack用在行的分割；np.hstack用在列的分割。## u代表原矩阵，shiftnum1代表行，shiftnum2代表列。def circshift(u,shiftnum1,shiftnum2): h,w = u.shape if shiftnum1 < 0:

Inception网络是Google公司研发的，迄今为止有V1,V2,V3,V4四代，在V4这一代引入了残差网络的模型，本次主要介绍第三代-InceptionV3网络。1. InceptionV3网络简介Inception第一次亮相是在 2014 年的 ILSVRC 比赛中，并且以 top-5 错误率（为 6.67% ）略低于 VGGNet 的优势取得了第一名，这一代的Inception网络通常称为GoogleNet，也叫InceptionV1网络。InceptionV2与InceptionV3网络出现

理论上讲，当网络层数加深时，网络的性能会变强，而实际上，在不断的加深网络层数后，分类性能不会提高，而是会导致网络收敛更缓慢，准确率也随着降低。利用数据增强等方法抑制过拟合后，准确率也不会得到提高，出现梯度消失的现象。因此，盲目的增加网络层数会适得其反，因此，ResNet(残差网络)系列网络出现了。本次基于Tensorflow2.0实现ResNet50网络。1.ResNet50网络简介ResNet50网络在层数上相比于VGG系列网络更胜一筹。这是何凯明在2015年提出的一种网络结构，获得了ILSVRC-2

VGG系列的网络，在网络深度上相比于其之前的网络有了提升，VGG16与VGG19是VGG系列的代表，本次基于Tensorflow2.0实现VGG16网络。1.VGG16 网络简介VGG16网络模型在2014年ImageNet比赛上脱颖而出，取得了在分类任务上排名第二，在定位任务上排名第一的好成绩。VGG16网络相比于之前的LexNet以及LeNet网络，在当时的网络层数上达到了空前的程度。2.网络结构3.创新点① 使用3x3的卷积核代替7x7的卷积核。3x3 卷积核是能够感受到上下、左右重点的

在之前的实验中，一直是自己搭建或者是迁移学习进行物体识别，但是没有对某一个网络进行详细的研究，正好人工智能课需要按组上去展示成果，借此机会实现一下比较经典的网络，为以后的研究学习打下基础。本次基于Tensorflow2.0实现AlexNet网络。1.AlexNet 网络简介作为LeNet网络提出后的第一个比较成熟的网络，AlexNet不负众望的在2012年的ImageNet比赛中以远超第二名的成绩夺冠，使得卷积神经网络广受关注，它相比于VGG系列的网络，层数并不多，而且也没有Xception和Incep

在以往的手写数字识别中，数据集一共是70000张图片，模型准确率可以达到99%以上的准确率。而本次实验的手写数字数据集中有120000张图片，而且数据集的预处理方式也是之前没有遇到过的。最终在验证集上的模型准确率达到了99.1%。在模型训练过程中，加入了上一篇文章中提到的早停策略以及模型保存策略。1.导入库import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport os,PIL,pathlib,war

深度学习时，往往需要划分训练集、测试集以及验证集。在之前，我已经介绍了利用keras中的ImageDataGenerator方法实现数据集的划分。但是原文件夹中的数据，并没有真正的划分到两个文件夹中。这次介绍的这个方法，可以按照一定的比例或者数量将数据从一个文件夹移动到另一个文件夹。如下所示的文件夹：一共有24个子文件夹每个文件夹中有500张左右的图片。1.按照比例划分import os, random, shutildef moveFile(fileDir, tarDir): path

在训练神经网络时，如果epochs设置的过多，导致最终结束时测试集上模型的准确率比较低，而我们却想保存准确率最高时候的模型参数，这就需要用到Early Stopping以及ModelCheckpoint。一.早停策略之EarlyStoppingEarlyStopping是用于提前停止训练的callbacks，callbacks用于指定在每个epoch开始和结束的时候进行哪种特定操作。简而言之，就是可以达到当测试集上的loss不再减小（即减小的程度小于某个阈值）的时候停止继续训练。1.EarlyStop

看了一下之前做过的有关深度学习的实验，发现InceptionV3这个模型还没有用到，虽然并没有自己实现该网络模型，但是先学习一下它的原理，再利用迁移学习测试一下它的模型准确率，也不失为一种不错的学习方法。本次实验利用InceptionV3网络模型，实现水果识别。1.导入库import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltimport os,pathlib,PILgpus = tf.config.ex

本次实验类似于猫狗大战，只不过将两种动物识别变为了四种动物识别。本文的重点是卷积神经网络Xception的实践，在之前的学习中，我们已经实验过其他几种比较常用的网络模型，但是Xception网络并未实践过。在弄本科毕设的时候，一个好朋友的毕设就是基于Xception实现海洋垃圾的识别，最终的实验效果达到了99%左右，由此可见Xception的模型性能还是不错的。本次实验基于Xception实现动物识别，最终的模型准确率在95%左右。1.导入库import numpy as npimport ten

1.概述1.1 决策树是如何工作的？决策树（Decision Tree）是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树算法容易理解，适用各种数据，在解决各种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛的应用。决策树算法的本质是一种图结构，我们只需要问一系列问题就可以对数据进行分类了。比如说，来看看下面这组数据集，这是一系列已知物种以及所属类别的数据：目标是，将动物们分为

Mnist数据集是深度学习入门的数据集，昨天发现了Chinese-Mnist数据集，与Mnist数据集类似，只不过是汉字数字，例如‘一’、‘二’、‘三’等，本次实验利用自己搭建的CNN网络实现Chinese版的手写数字识别。1.导入库import tensorflow as tfimport matplotlib.pyplot as pltimport os,PIL,pathlibimport numpy as npimport pandas as pdimport warningsfrom

无意间在kaggle上发现的一个数据集，旨在提高网络模型判别男女的准确率，博主利用迁移学习试验了多个卷积神经网络，最终的模型准确率在95%左右。并划分了训练集、测试集、验证集三类，最终在验证集上的准确率为93.63%.1.导入库import tensorflow as tfimport matplotlib.pyplot as pltimport os,PIL,pathlibimport pandas as pdimport numpy as npfrom tensorflow import

针对hdu1043，来说一下A搜索。这道题不一定用A算法，还可以用双向bfs。但是A搜索更快，在人工智能方面应用也很广泛。**A搜索**A搜索不是像深度优先搜索算法和广度优先搜索算法一样的傻瓜式的埋头搜索，它是先对当前的情况进行分析，得到最有可能的一个分支，然后在该分支上进行扩展，然后将扩展的结果放在之前的大环境中进行比较，再选取最有可能的分支进行扩展，直到找到最终状态。A算法的核心是估价函数...

这是人工智能实验的最后一个实验，算是深度学习的“hello world”。经过之前的学习，利用LeNet-5实现手写数字识别已经不是难事，而且准确率极高。本次实验的主要目的就是引入了3折交叉验证，对比一下在不同的epochs、batch_size以及优化器下，模型准确率的变化。1.实验内容数据集：MNIST 数据集，60000 张训练图像，10000 张测试图像，每张图像size 为 28*28。利用 LeNet-5 CNN 框架，实现手写数字识别。2.实验要求利用交叉验证方法，分析识别结

之前利用Fisher线性分类器实现过多类人脸识别，这次还是同样的数据集，利用SVM实现人脸识别。数据集如下所示：一共是40个人的人脸照片，每个人有10张图片。1.实验原理1.利用SVM实现人脸识别的结构如下所示：2.利用主成分分析 PCA 实现特征提取图像识别中，常常用矩阵来表示人脸图像。然而，高维图像数据对整个识别系统的识别速度有限的，也不利于实时识别系统的实现。降维技术是解决这一问题的常用方法，使数据从原始图像高维空间转化为维数大大减小的特征空间，同时，又保留原始图像数据的绝大部分信

本次实验旨在掌握感知器算法，利用它对输入的数据进行多类分类。1.实验原理1． 感知器基本原理感知准则函数是五十年代由 Rosenblatt 提出的一种自学习判别函数生成方法，由于Rosenblatt 企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。用对所有错分样本的求和来表示对错分样本的惩罚，代价函数定义如下：显然，J≥0。当代价函数 J 达到最小值 0 时，所有的训练向量分类都全部正确。为了计算代价函数的最小迭代值

基于 ORL 人脸库，基于 Fisher 线性分类器实现多类人脸的识别问题。本次实验相比起之前的二分类人脸识别问题，复杂很多。而且程序的识别效果并不好，应该是程序本身的问题，各位路过的大佬仅当做参考，有不对的地方希望批评指正。本次实验实现的是基于Fisher线性分类器的人脸四分类问题。1.图像处理def Get_img(file_path): train_set = np.zeros(shape=[1,32*32]) # print(file_path) for filena

实验 2：基于 ORL 人脸库，实验样本主要来自于两个人，每人 45 张图片，共有 90 个样本，其中的 80 个样本作为训练样本，10 个作为测试样本。通过 LDA 实现两类问题的线性判别。一个Fisher线性分类器讲解的不错的博客：参考博客与上篇博客的基本内容相差不多，但是相比起上篇中的数据，本次实验多了对人脸数据的处理。def Get_img(file_path): train_set = np.zeros(shape=[1,32*32]) # print(file_path)

本次实验是本科阶段人工智能实验课的一个实验，当时划水没有仔细做，现在回来再实践一下。1.Fisher分类器的基本原理若把样本的多维特征空间的点投影到一条直线上，就能把特征空间压缩成一维。那么关键就是找到这条直线的方向，找得好，分得好，找不好，就混在一起。因此 Fisher 方法目标就是找到这个最好的直线方向以及如何实现向最好方向投影的变换。这个投影变换恰是我们所寻求的解向量 ，这是 Fisher算法的基本问题。样本训练集以及待测样本的特征数目为 n。为了找到最佳投影方向，需要计算出各类均值、样

这次实验的主角并不是猫狗大战，而是AlexNet网络，只不过数据集为猫狗大战数据集。本次实验利用自己搭建的AlexNet网络实现猫狗大战，测试一下AlexNet网络的性能。AlexNet网络作为LeNet网络之后得到的网络模型，在很多地方都有了重大的创新，而这些创新就目前来看仍有重大的意义。1.创新点1.ReLU非线性函数（ReLU Nonlinearity）在AlexNet网络之前的网络模型中，大多采用sigmoid或者tanh作为激活函数，但是Alex（AlexNet网络的发明者）发现在训练时间

鸟类识别在之前做过，但是效果特别差。而且ResNet50的效果直接差到爆炸，这次利用VGG16与ResNet50的官方模型进行鸟类识别。1.导入库import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltimport os,pathlib,PILfrom tensorflow.keras import layers,models,Sequential,Input,Modelfrom tensorflow.ke

Cifar10是一个封装好的数据集，里面包括10中类别的事物。而LeNet-5是最先提出来的卷积神经网络，在之前的学习中，我们并没有利用LeNet-5网络进行分类，本次实验我们来看一下基于Lenet-5对cifar10分类的效果。1.导入库import tensorflow as tfimport numpy as npimport os,PILimport matplotlib.pyplot as pltfrom tensorflow import kerasfrom tensorflow.

猫狗大战在一开始接触深度学习的时候，实现过，也写过一篇博客。但是当时的理解并不是很深，在做过之前的实验之后，再次接触猫狗大战，就有一些别的体会了。本次实验基于自己搭建的CNN与VGG19的官方模型，实现猫狗大战。引入混淆矩阵与Accuracy_Loss图观察模型准确率。1.导入库import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport os,pathlib,PILfrom tensorflow

注：因为硬件原因，这次的实验并没有生成图片，但是代码应该是没有问题的，可以参考学习一下。本次基于DCGAN实现动漫人物的生成。最终的效果可以参考大神K同学啊的博客。与上篇文章基于DCGAN生成手写数字的步骤基本一致。1.导入库import tensorflow as tfimport numpy as npimport glob,imageio,os,PIL,pathlibimport matplotlib.pyplot as plt# 支持中文plt.rcParams['font.san

该篇文章与上篇文章内容相差不多，但是主要的网络结构不同，上篇文章采用的是GAN网络结构，而这篇文章采用的是DCGAN网络结构。两者的差异在于以下几点：（1）使用卷积和去卷积代替池化层。（2）在生成器和判别器中都添加了批量归一化操作。（3）去掉了全连接层，使用全局池化层替代。（4）生成器的输出层使用Tanh 激活函数，其他层使用RELU。（5）判别器的所有层都是用LeakyReLU 激活函数。其中最本质的一点就是使用了卷积和去卷积。1.导入库import numpy as npimport

在弄毕设的时候，室友的毕设是基于DCGAN实现音乐的自动生成。那是第一次接触对抗神经网络，当时听室友的描述就是两个CNN，一个生成一个监测，在互相博弈。最近我关注的一个大神在弄有关于GAN的东西，所以就跟着学了一下，蛮有意思的，和之前的深度学习略有不同。1.导入库import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as npimport globimport sys,os,pathlib,imageio2.基

本次实验基于自己搭建的CNN网络实现眼睛状态的分类，本来是打算迁移学习利用VGG16网络进行分类的，但是实验效果特别差，而且速度很慢，应该是博主自己的问题。而自己搭建的CNN网络的模型准确率也很高，运行速度很快。本文的重点在于混淆矩阵的绘制，这是之前没有接触过的东西。1.导入库import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltimport os,pathlib,PILfrom tensorflow im

最近在利用卷积神经网络跑模型的时候，总会出现一些奇奇怪怪的问题，而其中出现次数最多的就是loss值计算方式选择错误问题。在tensorflow中封装的loss值的计算方式有三种：BinaryCrossentropy，SparseCategoricalCrossentropy，CategoricalCrossentropy。下面简单说一下这三种计算方式适用于什么场合？1.BinaryCrossentropy常用于二分类问题，当然也可以用于多分类问题，通常需要在网络的最后一层添加sigmoid进行配合使用

经过之前深度学习的实践，无论是自己搭建的CNN网络也好，还是通过迁移学习调用官方的网络模型也好，都有其优点以及不足。本次实验通过对各种常用的CNN网络模型进行调用，了解一下它们的特点，对比一下在对于同一数据集进行分类时的准确率。本次所调用的CNN模型有：VGG16 VGG19 ResNet Densenet模型1.导入库import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltimport os,PIL,

这次的结果是没有想到的，利用官方的Inception_ResNet_V2模型识别效果差到爆，应该是博主自己的问题，但是不知道哪儿出错了。本次实验分别基于自己搭建的Inception_ResNet_V2和CNN网络实现交通标志识别，准确率很高。1.导入库import tensorflow as tfimport matplotlib.pyplot as pltimport os,PIL,pathlibimport pandas as pdimport numpy as npfrom tenso

VGG19是VGG网络中一个更复杂的网络，相比较于VGG16，它的层数更深。VGG19网络都使用了同样大小的卷积核尺寸（3x3）和最大池化尺寸（2x2）。但是它的训练时间过长，调参难度大，并且需要的存储容量大，不利于部署。本次基于CNN和VGG19，对灵笼人物进行识别。其中VGG19网络分别调用了官方模型和自己搭建的模型。1.导入库import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport os,

硬件问题真的是搞机器学习的一个痛处，更何况这只是入门级别的。基于CNN和VGG16，实现对海贼王人物的分类识别。本次自己动手搭建了VGG16 网络，并且和迁移学习的VGG16的网络的实验效果做了一个对比，还包括其中出现的一些幺蛾子。1.导入库import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport os,PIL,pathlibfrom tensorflow import kerasfrom t

就在博主的上几篇博客中，遇到训练集和测试集划分的情况时，还是手动划分的。如果需要划分的文件夹数目众多，例如这一次的gesture文件夹中，有24个子文件夹，如果手动划分，耗时太久。在很多情况下，数据时没有划分成训练集和测试集两部分的，因此需要自己划分。基于Keras中的ImageDataGenerator，可以实现这样的操作。1.数据集路径和文件夹中的子文件夹分布如上图所示。其中每个文件夹中有500+张图片，总共是10000+张图片2.划分训练集和测试集①导入数据集所在路径data_dir =

其实和猫狗大战还有上一篇博客的代码差不太多，但是中间出现了新的问题。1.导入库import numpy as npimport tensorflow as tfimport os,PILimport randomimport pathlibimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitfrom keras.utils import np_utils2.加载数据需要数

类比于猫狗大战，利用自己搭建的CNN网络和已经搭建好的VGG16实现花朵识别。1.导入库注：导入的库可能有的用不到，之前打acm时留下的毛病，别管用不用得到，先写上再说import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense,Conv2D,Flatten,Dropout,MaxP

本博客与手写数字识别大同小异。1.导入所需库import tensorflow as tffrom tensorflow.keras import datasets, layers, modelsfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense, Conv2D, Flatten, Dropout, MaxPooling2Dfrom tensorflow.keras.pre