2018年02月_Kun Li

原创 ValueError: Error when checking input: expected input_1 to have 2 dimensions, but got array with sha

在使用全连接层进行对mnist数据进行分类识别时，爆了这个错：ValueError: Error when checking input: expected input_1 to have 2 dimensions, but got array with shape (60000, 28, 28)意思也很明白，就是模型希望输入一个2维的tensor进来，结果输入进来了（60000,28

2018-02-28 14:08:30 50922 10

原创在windows下安装git

Git命令是我们常用的命令，以前多用于Linux环境，现在也支持windows环境，在windows下安装git：1.访问https://www.lfd.uci.edu/~gohlke/pythonlibs/#pygit2 根据python以及windows下载对应的2. 在cmd中进行下载的pygit2的目录，用pip install pygit2-0.26.3-cp35-cp35m-win...

2018-02-27 14:51:58 1214

原创 keras中对多张输入图片进行预测并返回预测结果

前面讨论过单张图片的输入和和预测，下面讨论一下多张图片同时输入模型的方法。对于多张图片的输入，将多张图片读入到一个列表中，然后concatenate起来，concatenate的作用是把shape为（0,224,224,3）的每张图片tensor，打包成shape为（batch，224,224,3）的tensor，实现批量的预测或者批量训练了。代码如下： import nu...

2018-02-26 14:07:38 21036 9

原创 keras中对单一输入图像进行预测并返回预测结果

模型经过训练测试之后，我们往往用一两张图对模型预测结果进行分析讨论，那么下面介绍在keras中用已训练的模型经过测试的方法。下面是以利用预训练的ResNet来展示预测的效果，选了一张狗的图片，是来自一个kaggle比赛的。预测结果第一个是一种苏格兰品种的狗，我也不知道准不准 == 。import numpy as npfrom keras.applications.imagenet_utils ...

2018-02-26 12:54:49 19013 9

原创 keras中的zca_whtening白化处理

白化：是一个比PCA稍微高级一点的算法。白化的目的就是去除输入数据中的冗余信息，假设训练数据是图像，由于图像中相邻的像素之间有很强的相关性，所以用于训练时输入是冗余的，白化的目的就是降低输入的冗余性。其实从高光谱遥感影像的角度上，可能是可以一试的预处理。输入数据集X，经过白化之后：1.特征之间相关性较低。2.所有特征具有相同的方差。PCA作为降维算法，一般通过求出原数据的特征向

2018-02-25 16:19:17 3218 1

原创利用keras中image.ImageDataGenerator.flow_from_directory()实现从文件夹中提取图片和进行简单归一化处理

keras中有很多封装好的API可以帮助我们实现对图片数据的读取和处理。比如： keras.preprocessing.image.ImageDataGenerator.flow_from_directory( ) 这个函数这个函数的参数包括：flow_from_directory(self, directory, target

2018-02-25 15:05:49 39875 10

原创 Pandas应用于数据提取的一些小知识

import pandas as pddf = pd.read_csv( )# 默认显示列表数据的前5行df.head( )

2018-02-20 19:57:52 431

原创 PermissionError: [Errno 13] Permission denied: 'd:\\python\\python 3.5\\Lib\\sit e-packages\\numpy\\

笔者在更新keras是出现了上述错误，处理这个错误的方法很简单，关闭所有关于python运行的进程即可，比如你可能正打开pycharm，你需要关闭pycharm。在cmd中重新输入： pip install keras == 2.1.4 即可完成更新。

2018-02-20 16:22:16 23967 2

原创 Multi class log loss 多分类的对数损失

在kaggle比赛中，经常需要提交log loss，对数损失是经常用到的一个评价指标。其定义为给定概率分类器预测的真实标签的负对数似然率。每一个样本的对数损失就是在给定真实样本标签的条件下，分类器的负对数似然函数： -log P(yt|yp) = -(yt log(yp) + (1 - yt) log(1 - yp))当某个样本的真实标签y=1时，loss=-log

2018-02-20 15:35:06 11379

原创基于卷积神经网络的图像语义分割

论文地址基于卷积神经网络的图像语义分割浙江大学硕士论文图像分割：就是把感兴趣的内容从图像上分割出来，但是一般会对这个目标加上一定的语义信息，即语义标签，把加上语义的图像分割称为图像语义分割。本文主要研究图像语义分割，并且以提升图像语义分割的准确性和他通用性为目标。１．分析了卷积神经网络在图像语义分割的应用前景，实现基于卷积神经网络和反卷积神经网络相结合的图像语义分割模型。２．对基于卷积神经网...

2018-02-14 20:37:03 21892

原创基于深度卷积神经网络的高光谱遥感图像分类---PCA+2D-CNN(伪空谱特征)

论文地址基于深度卷积神经网络的高光谱遥感图像分类西华大学学报同时利用高光谱图像的光谱信息和空间信息的深度卷积神经网路分类模型。基于深度学习到的深度特征，用逻辑回归分类器进行分类训练。高光谱图像面临的挑战：Hughes现象：在高光谱遥影像中，当训练样本数目有限时，分类精度随着图像波段数目的增加先增加，在达到一定极值后，分类精度随着波段数目的增加而下降。同物异谱异物同谱现有方法：随机森林、决策树、神...

2018-02-14 20:26:52 27252 61

原创基于深度卷积神经网络的遥感影像车辆检测--厦门大学毕业论文

论文地址基于深度卷积神经网络的遥感影像车辆检测本文基于超像素分割算法实现对车辆检测窗口的定位。车辆检测窗口的识别是基于深度卷积神经网络实现的。通过数据扩充将带标记的样本应用于深度卷积神经网络进行特征和分类器参数的学习。训练完成的深度卷积神经网络将识别所有的车辆检测窗口，结合非极大值抑制对识别结果做过滤得到最终的车辆检测结果。本文提出一种先在遥感图像中提取道路感兴趣区域再在这个道路感兴趣区域上执行...

2018-02-14 20:17:23 7190 3

原创从摄影测量到计算机视觉---讨论计算机视觉和测量的异同点

论文地址从摄影测量到计算机视觉龚健雅摄影测量：透视几何、成像设备、摄影平台、测量法和测量工具几何角度：计算机视觉和摄影测量之间的紧密联系。语义方面分析了遥感学科的发展，与机器学习和计算机视觉之间的关系，深度学习和连接主义计算机视觉人工智能 1. 摄影测量2. 摄影测量与计算机视觉在几何上的联系用计算机代替人眼，从图片中重建和解译世界主要讨论几何上，也就是测量法理论上的差...

2018-02-14 20:00:41 3428 1

原创高光谱遥感数据光谱特征的提取与应用---高光谱基础知识科普论文

论文地址高光谱遥感数据光谱特征的提取与应用杜培军遥感基础知识积累：绝对温度大于0的物体在整个光谱轴上具有连续的光谱曲线高光谱可以有效的描述一些窄而重要的局部光谱特征，可以明显看到高光谱对于光谱频带的描述是详细的。光谱数据库美国JBL的航空可见光/红外成像光谱仪(AVIRIS)，AVIRIS在0.2-2.45微米的波长范围内获取224个连续的光谱波段图像，波段宽度不大于10nm，当飞机在20km的高...

2018-02-14 19:52:08 14820 1

原创 tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shap

报错：tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[64,147,147,64]出现以上类似的错误，主要是因为模型中的batch_size值设置过大，导致内存溢出，batch_size是每次送入模型中的值，由于GPU的关系，一般设为1

2018-02-12 14:33:46 20656 4

原创 The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your..

警告：The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.在项目前添加这样一段代码：import osos.environ['TF_CPP_MIN_LO

2018-02-12 14:25:40 643

原创 sk-learn中StratifiedShuffleSplit（）函数实现对数据集的划分

sk-learn中提供了对数据集进行打乱划分的函数，StratifiedShuffleSplit（）是非常实用的函数，数据集在进行划分之前，首先是需要进行打乱操作，否则容易产生过拟合，模型泛化能力下降。sklearn.model_selection.StratifiedShuffleSplit(n_splits=10, test_size=’default’, train_size=None, r...

2018-02-11 23:13:11 13904

原创 openvc中morphologyEx（）函数

openvc中morphologyEx（）函数是一种心态学变化函数。数学形态学可以理解为一种滤波行为，因此也称为形态学滤波。滤波中用到的滤波器(kernal)，在形态学中称为结构元素。结构元素往往是由一个特殊的形状构成,如线条、矩形、圆等。开运算(open)：先腐蚀后膨胀的过程。开运算可以用来消除小黑点，在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。

2018-02-11 20:23:23 8755 1

原创 opencv中的cv2.getStructuringElement()

cv2.getStructuringElement( ) 返回指定形状和尺寸的结构元素。这个函数的第一个参数表示内核的形状，有三种形状可以选择。矩形：MORPH_RECT;交叉形：MORPH_CROSS;椭圆形：MORPH_ELLIPSE;第二和第三个参数分别是内核的尺寸以及锚点的位置。一般在调用erode以及dilate函数之前，先定义一个Mat类型的变量来获得getSt...

2018-02-11 20:06:31 50819

原创 opencv中颜色空间转换函数 cv2.cvtColor()

opencv中有多种色彩空间，包括 RGB、HSI、HSL、HSV、HSB、YCrCb、CIE XYZ、CIE Lab8种，使用中经常要遇到色彩空间的转化，以便生成mask图等操作。可以使用下面的色彩空间转化函数 cv2.cvtColor( )进行色彩空间的转换：image_hsv = cv2.cvtColor(image,cv2.COLOR_BGR2HSV)用这个函数把图像从RG

2018-02-11 19:55:18 107280 16

原创 python中glob的用法

glob可以用来查找符合特定规则的文件路径名，支持使用匹配规则。通常使用的有“*” ，“[]” ,"?" 这三个“*” 表示匹配单个字符“[ ]” 表示匹配指定范围内的字符“？” 表示匹配指定范围内的字符获取了指定路径下所有的图片（即桌面上所有的图片，使用了“*”匹配符）

2018-02-11 18:57:58 1127

原创高光谱遥感影像分类研究进展 --- （15年论文，方法主要是常规处理，但是写的比较细）

论文地址高光谱遥感影像分类研究进展南大、矿大、河海15年的文章比较老，科普文，但是理论总结和语言用词都比较扎实在总结分类策略的基础上，重点从以核方法（SVM）为代表的新型分类器设计、特征挖掘、空间-光谱分类、基于主动学习和半监督学习的分类、基于稀疏表达的分类、多分类器集成6个方面对高光谱影像像素级分类最新研究进行了综述。研究方向：大数据、引入机器学习领域新理论、利用多源遥感数据、多维特征空间互...

2018-02-11 15:14:31 14321 1

原创一种利用空间和光谱信息的高光谱遥感多分类器动态集成算法 -- DCS+SSI（简单投票法和MLA+LCA的集合）

论文地址一种利用空间和光谱信息的高光谱遥感多分类器动态集成算法河海、武大之前没有接触过多分类器在高光谱遥感影像上的应用，尝试过多模型联合去提取特征，没有在分类器端想过办法，所以看一下这篇论文高光谱遥感影像分类面临的小样本、分类器不稳定等问题首先，采用支持向量机等5个基分类器构建多分类器集合；其次，计算各个分类器的分类结果，将大多数分类器分类一致的像元列入样本数据；最后，根据待分类像元的邻域像元的...

2018-02-08 22:02:44 1240

原创基于深度神经网络的高光谱影响分类方法研究---MNF+自动编码器+Softmax （准确率比较低，17年的论文）

论文地址基于深度神经网络的高光谱影响分类方法研究装备学院学报遥感影像分类的问题：预处理复杂，高维特征提取困难，分类不够精确等缺陷首先采用最大噪声分数来降低特征空间维度，然后将自动编码器与softmax多想逻辑回归分类器组合成含有多隐藏层的神经网络，对高光谱影像进行非监督型深度特征提取与分类。 0、引言高光谱影像分类问题：低空间分辨率导致混合像元现象、波段间高相似性导致Hughes现象、端元与光谱不...

2018-02-07 22:30:42 2357 4

原创高光谱遥感图像空谱联合分类方法研究--基于光谱，空间，空谱的DBN+LR

论文地址高光谱遥感图像空谱联合分类方法研究辽宁工程技术大学基于DBN的特征提取方法和图像分类架构用于高光谱数据分析，将谱域-空域特征提取和分类器相结合提高了分类精度。 1.引言针对高光谱数据量大，特征维数高的特点降低维度的方法：两种方法：一种是特征选择，一种是特征提取。特征选择是找到原始波段的一个合适的子集，特征提取是在变换后的特征空间中寻找一个真子集。分类阶段，分类器使用降维后的特征代替原始数据...

2018-02-06 16:34:37 4635 4

原创转变为一维向量的flatten（）操作

flatten（）就是我们常说的整平操作，在神经网络中应用很多，在numpy中应用的对象就是np的数组对象，在不同的深度学习框架中都会开发该方法，一般在经过卷积神经网络等特征提取之后都会经过一到两个fc层，对于相对比较传统的神经网络而言，亦或者是进入分类器，大多数是需要转化成为一维向量的，传统的全连接层的输入对象只能是一维的，这个时候就需要用到这个flatten（）整平操作，也很简单，大多数是直接

2018-02-06 14:23:42 5980

原创 np.std() 计算矩阵标准差

在计算OA、AA时，np.std（）是个很常见的操作。标准差是反映一组数据离散程度最常用的一种量化形式，时表示精确度的重要指标。计算公式：std = sqrt(mean(abs(x - x.mean())**2)).举例：第一个就算全局标准差，第二计算每个维度的标准差

2018-02-06 11:55:07 10633

原创剑指offer python实现 66道算法题

所有题目均采用牛客网在线编程实现，代码均在github上。数组1.二维数组中的查找题目：在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数字符串2.替换空格题目：请实现一个函数，将一个字符串中的空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为W...

2018-02-04 18:19:58 20332 1

liguandong